History Server

Spark Defaults Conf

spark application의 driver program이 종료되면 web ui는 더 이상 볼 수 없음. 이전 정보의 로그를 저장하여 화면에서 볼 수 있도록 하기 위함

$ cd /skybluelee/spark3/
$ cp ./conf/spark-defaults.conf.template ./conf/spark-defaults.conf
$ vi ./conf/spark-defaults.conf

/ add
spark.eventLog.enabled	true
spark.eventLog.dir		/skybluelee/spark3/history
spark.history.fs.logDirectory	/skybluelee/spark3/history

$ mkdir -p /skybluelee/spark3/history

eventLog가 많아지면 memory에 문제가 발생하므로 적절히 삭제하거나 위치를 바꾼다.

History Server 실행

$ ./sbin/start-history-server.sh

$ jps
2208 Master
2321 Jps
2271 Worker
2111 HistoryServer

History Server Web UI: http://spark-master-01:18080 확인
진행중인 task는 History Server Web UI의 'Show incomplete applications'에서 확인 가능