@VNLAB: Spark Remote Debugging For Java

Bước 1: tạo app.jar ( sử dụng lệnh: mvn package)
Bước 2: gửi jar sang server
từ localhost sang fumidai
scp -P 10022  app.jar hungnv@fumidai:~/
từ fumidai sang vnlab server cluster:
scp app.jar root@vnlab-master1:~/
Bước 3: tạo SSH tunnel (có thể tạo file *.sh để chạy sau đỡ phải gõ lại) listen trên localhost:12345 đến vnlab-master1:12345
ssh  -L 12345:vnlab-master1:12345 hungnv@fumidai -p 10022 -o "ServerAliveInterval 600"
Bước  4: Thiết lập cấu hình cho server (trên vnlab-master1)
$ export SPARK_SUBMIT_OPTS=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=12345
$ export SPARK_MAJOR_VERSION=2
Bước 5: Bật debugging server
$ spark-submit --class App--master yarn app.jar > output_demo
Bước 6: Bật debugging client
Trên Eclipse:
Debug > Debug Configuration > Remote Java Application
Chọn host: localhost
Chọn port: 12345
Run

Tham khảo
https://community.hortonworks.com/articles/15030/spark-remote-debugging.html