Pig
Pig를 사용하면 더 쉽게 데이터를 처리할 수 있다.
Hadoop과 MapReduce 위에 구축되었기 때문에 이를 통해 매퍼와 리듀서를 작성하지 않고 MapReduce 작업을 할 수 있다.
- Apache Pig-> 매퍼나 리듀서를 작성하지 않고 데이터를 빠르게 분석할 수 있는 방법
MapReduce 개발 사이클 타임
MapReduce의 가장 큰 문제는 개발 사이클 타임
MapReduce 프로그램을 개발해 실행하고 원하는 작업을 수행하기까지 오랜 시간이 걸린다.
그래서 Pig가 등장
Pig는 MapReduce 위에서 작동하고 Pig Latin이라는 새 프로그래밍 언어를 사용 -> SQL과 비슷하다.
다른 점은 Pig는 절차형 언어라는 겁니다 아주 간단한 스크립트 양식을 사용해 단계별로 데이터 간에 여러 관계를 설정.
