post-thumbnail

MYSQL Hadoop 통합하기

Sqoop > Hive는 Hadoop 클러스터를 관계형 데이터베이스처럼 사용하지만 실제로 데이터베이스를 갖는 것은 아니었다. 그러나 만약 MySQL과 같은 진짜 관계형 데이터베이스를 갖고 있고 Hadoop 클러스터에 데이터를 불러오거나 내보내고 싶을 수도 있을 때 Sqoop을 활용하여 할 수 있다. MYSQL 거대한 하드 드라이브에 연결되는 하나의 서버에 설치. 클러스터에 분산되지 않고 모든 것이 로컬에 있으므로 온라인 처리 프로세싱(OLTP)에 적절. 데이터베이스에서 빠르게 결과를 구해야 한다면 MySQL 같은 도구가 적절 Sqoop SQL과 Hadoop을 합친 이름. 대용량 데이터 세트를 Hadoop 클러스터에 가져오거나 내보내고 관리한다. MapReduce 작업을 통해 가능 함. 데이터베이스를 Hadoop으로 내보내려고 하면 Sqoop은 내부적으로 여러 매퍼를 작동한다.(데이터를 한 곳에서 다른 곳으로 옮기는 일이

2022년 12월 16일
·
0개의 댓글
·