Spark

Scikit Learn과 Spark ML Estimator의 차이가 있어서 공부할 겸 정리해 보았다.Scikit Learn Estimator 객체 자체가 학습된 모델을 가지고, Spark ML Estimator 별도의 Model 객체 자체가 학습된 모델을 가지는 차이가

AWS로 Spark 공부를 진행하다 보니 비용이 만만치 않아서 도커를 통해 세팅 후 공부를 진행하기로 했다. 1. docker-compose up https://github.com/big-data-europe/docker-spark 를 참고하여 docker-compo