Zeppelin - Spark 연동하기

bradley·2022년 9월 14일
1

Spark

목록 보기
6/7

Spark Interpreter 설정


Zeppelin Web UI에서 우측 상단의 [anonymous] 옆 드롭다운을 눌러 [Interpreter]로 이동한다.

spark를 검색하면 Spark Interpreter 설정을 할 수 있다.

spark.master가 현재 Local Mode로 되어 있는데 이 값을 변경하여 Cluster Manager를 선택할 수 있다.

우측 상단의 [edit]을 눌러 spark.master에 Spark Standalone Master URL을 입력한 후 아래로 스크롤하여 [Save]한다.

[OK]를 눌러 Interpreter를 Update 및 Restart한다.

Master가 변경된 것을 확인한다.

Zeppelin에서 Spark 실행해보기


Spark Notebook을 생성한 뒤 sc 변수를 통해 SparkContext를 실행시켜본다.

Spark Web UI에 들어가면 Spark Application이 정상적으로 실행된 걸 확인할 수 있다.

profile
데이터 엔지니어링에 관심이 많은 홀로 삽질하는 느림보

0개의 댓글