Spark submit không cấp phát đúng kích thước RAM khi submit lên Yarn?

  1. Công nghệ thông tin

Mình có sử dụng spark-submit để submit ứng dụng spark lên yarn với cú pháp sau:

spark-submit --num-executors 4 --executor-cores 4 --executor-memory 6G

Nhưng khi xem trên spark UI thì chỉ có 3.2gb / executor.

Từ khóa: 

spark

,

spark-streaming

,

công nghệ thông tin

Lượng memory mà bạn thấy trên Spark UI được tính bằng executor-memory * spark.memory.fraction - 300MB.

Bạn xem lại phần cấu hình của tham số spark.memory.fraction

300 MB là dành cho JVM Heap

Chi tiết bạn tham khảo thêm ở đây nhé:



Trả lời

Lượng memory mà bạn thấy trên Spark UI được tính bằng executor-memory * spark.memory.fraction - 300MB.

Bạn xem lại phần cấu hình của tham số spark.memory.fraction

300 MB là dành cho JVM Heap

Chi tiết bạn tham khảo thêm ở đây nhé: