PySpark cannot run with different minor versions.

독자 대상📣

👉 Docker에서 PySpark를 사용하시는 분
👉 PySpark를 사용하여 HDFS에 데이터를 저장하시려는 분

---

출간 이유❓

PySpark로 HDFS에 데이터 저장 시, 에러 발생 확인

---

문제 파악🔍

RuntimeError: Python in worker has different version 3.6 than that in driver 3.7, PySpark cannot run with different minor versions. Please check environment variables PYSPARK_PYTHON and PYSPARK_DRIVER_PYTHON are correctly set.

Q: Apache Spark로 master 1기, worker 3기 클러스터를 구축해서
   Hive(HDFS) 데이터를 처리하고 적재하던 중,
   상기 오류가 발생합니다.😥

---

문제 해결🎊

A: Spark master, worker 컨테이너(SC)에서 사용하는 파이썬 버전과
   PySpark를 사용하는 컨테이너(PSC)에서 사용하는 파이썬 버전이
   상이하여 발생하는 에러입니다.😀
   
   파이썬 버전만 맞춰주면 되는데,
   상기 에러를 보아, SC에서 사용하는 파이썬 버전은 3.7,
   PSC에서 사용하는 파이썬 버전은 3.6 버전으로 추정됩니다.
   
   SC의 모든 컨테이너에서 파이썬 버전을 변경하는 것은 번거로우니,
   PSC에서 파이썬 버전을 재설정하는 것을 권장합니다.
   
   하단의 내용을 참고하여 이 Disgusting한 문제를 해결하십시오❗❗

1. 파이썬 3.7 설치

   $ apt install python3.7

2. PySpark를 사용하는 모듈에 하기 코드 추가

   ~
   import os
   os.environ["PYSPARK_PYTHON"] = "/usr/bin/python3.7"
   os.environ["PYSPARK_DRIVER_PYTHON"] = "/usr/bin/python3.7"
   ~