MapReduce란?

💡 MapReduce는 구글에서 공개한 논문인 MapReduce: Simplified Data Processing on Large Cluster에서 소개한 프로그래밍 모델과 구현한 모듈 자체를 모두 지칭하는 말로 한 가지 Task를 여러 대의 컴퓨터에게 분산해서 처리하는 방식을 의미합니다.

map( )은 Task를 분산하여 각 여러대의 컴퓨터에 mapping해서 데이터를 처리하고
reduce( )는 그렇게 처리한 결과를 병합합니다.

빅데이터 분산 처리 프레임워크인 Hadoop의 핵심 모듈, 분산 처리 엔진으로 사용되고 있습니다.

MapReduce

• 위 그림의 흐름에 대해서 설명하자면 프로그램 mapreduce를 호출을 하면 master서버를 통해 map과 reduce를 할당합니다.
• 할당 받은 map worker들은 분산된 데이터를 읽어와서 처리한 결과를 중간 파일(로컬 디스크)에 저장합니다.
• worker들 중 Reduce phase에 있는 worker는 로컬 디스크에 있는 처리한 중간 결과를 병합, 정렬하여 oupt을 낸다고 합니다. 논문에서는 이렇게 R개의 output이 있는데 굳이 하나의 파일로 합칠 필요는 없다고 설명하고 있습니다. 그 이유로는 이 output그대로 새로운 mapreduce작업에 넣을 수도 있고, 다른 분산 어플리케이션에도 여러 파일을 한 번에 읽을 수 있기 때문이라고 합니다.
• 논문에서 보면 2-4GB 정도 되는 메모리의 리눅스환경의 컴퓨터를 활용하며, 수 백에서 수천개의 worker를 운영하기 때문에 work failure은 빈번하게 일어난다고 합니다. 또한 무정지 가동에 대한 설명이 있는데 GFS를 의미하는 것 같습니다.(설명하는 것이 GFS랑 똑같음). Master는 주기적으로 worker(chunk server)에게 핑을 보내서 응답이 없는 worker는 failed로 mark하는 방식으로 worker failure을 체크한다고 합니다.
• 자세한 내용은 거의 논문을 번역한 수준인 아래 블로그를 참고하시면 좋습니다. 저는 논문과 블로그를 참고해서 제 기준에서 이해한 내용을 작성했습니다.

참고

• https://kadensungbincho.tistory.com/112
• MapReduce: Simplified Data Processing on Large Cluster