spark executor 上的task 不均衡問題。

xiaoqi8866

請問，我目前碰到問題是 spark executor 上的task任務數(shù)量不均衡。 導致，分配了很多executor ，實際干活的就那么幾個。
勞煩大伙幫忙分析一下這個問題。

如下圖，



分配很了多executor ，但是實際工作的executor主要集中在 p1\p2\p3 這三個機器。 這三個機器恰好是 datanode 節(jié)點。 Locality Level 都是 node_local

執(zhí)行的語句非常簡單就是  select count(*) from table .

如果把p1/p2/p3 上的 nodemanger 關掉。task 就分配的均衡了。 Locality Level 都是 Rack_local

我猜測是跟spark 優(yōu)先讀取本地數(shù)據(jù)有關 。但是，只是猜測，且沒有不知道如何調(diào)整。

請問各位碰過相似的問題，或是有類似的經(jīng)驗嗎？

謝謝。