spark.dynamicAllocation + Einstellung der Funkenparameter entsprechend dem Ambari-Cluster

435
enodmilvado

wir wollen die Werte für die folgenden Funkenparameter entsprechend den Eingaben finden, wie Speicher auf Datenknotenmaschine, CPU-KERN auf Datenknotenmaschine, Nummern von Datenknotenmaschinen usw.

spark.dynamicAllocation.initialExecutors = ? spark.dynamicAllocation.minExecutors = ? spark.dynamicAllocation.maxExecutors = ?

Ich denke, wir können nicht genau die Werte angeben, so dass es hilft, den Bereich für diese Parameter zu finden

zum Beispiel

Wir haben Ambari-Cluster mit

3 Meistermaschinen

21 Worker-Computer (jeder Worker-Computer verfügt über 32G-Speicher und 16 CPU-KERN)

3 Kafka-Maschinen

Bitte helfen Sie mir, die Werte für die Parameter zu berechnen (ich werde dann gerne den Bereich für jeden Parameter bestimmen, da ich weiß, dass wir den Wert nie exakt schließen).

Ich gebe hier nur meine Meinung (basierend auf der Site - https://community.microstrategy.com/s/article/Best-Practices-for-Spark-Thrift-Server-on-YARN

können wir beide Parameter auf 21 einstellen (Anzahl der Arbeitsmaschinen)?, Ist es o.k?

spark.dynamicAllocation.initialExecutors = 21 spark.dynamicAllocation.minExecutors = 21 spark.dynamicAllocation.maxExecutors = 21
0

0 Antworten auf die Frage

Verwandte Probleme