Sqoop SQL Server to Hive

독자 대상📣

👉 SQL Server 데이터를 Hive로 옮기시려는 분

---

출간 이유❓

첫 번째 마이그레이션 이후, 데이터를 계속 덮어쓰는 방식을 사용하다가, 너무 답답해서 이어쓰는 방식을 채택

시계열 데이터가 기반일 때, 정말 유용하다❗❗ 강추 ❗❗❗❗

---

문제 파악🔍

Q: Sqoop을 사용하면 대중적인 RDB에서 HDFS로 
   데이터를 마이그레이션을 할 수 있는 건 아는데... 
   매일 덮어쓰기를 하니까 시간 소요가 너무 길어요😥

A: 아~ 울지 마시고~ 자 일단 Sqoop 커맨딩 사용 후, 
   Hive에서 테이블을 생성하는 방법까진 아시죠? 
   설마 테이블 생성하고 'load data inpath~' 커맨딩까지 쓰시진 않죠?🙂

Q: 음... 'load data inpath'를 사용하지 않고 
   HDFS 데이터를 Hive에 적재할 수가 있나요??😲

A: Oh... jesus cr.. 아.. 그럴 수 있죠😌 
   그럼 'load data inpath~' 커맨딩 없이 Hive 테이블로 
   데이터를 적재하는 방법과 
   'Sqoop을 사용하여 데이터 이어쓰기' 방법에 대해 
   한 번 끄적여드리겠습니다.

---

문제 해결🎊

• 'load data inpath' 없이 Hive 테이블과 연동

sqoop import 
      --username xxxx 
      --password xxxxx
      --num-mappers 1 
      --connect "jdbc:sqlserver://118.219.11.126:1566;database=ctf_spc" 
      --query "select a.xxxx, count(a.xx) as xxx  
               from aaaaa a with (nolock)
                    inner join bbbbb b with (nolock) 
                    on a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy
                    inner join ccccc c 
                    on b.yyy = c.zzz and
                       b.yyyy = c.zzzz and
                       b.yyyyy = c.zzzzz 
                    inner join ddddd d 
                    on b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq 
               where \$CONDITIONS 
               group by a.xxx" 
      --delete-target-dir
      --target-dir /date_data_count/ 
      --as-textfile

create external table seokjin_date_data_count (F_WORKDATE DATE, data_count INT) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n' 
stored as textfile 
location '/date_data_count';

A: 우선 위 첫 번째 커맨딩에서 '--delete-target-dir' 과 
   '--target-dir' 옵션을 봐주세요. 
   
   '--delete-target-dir'은 마이그레이션 하기 전, 
   대상 디렉터리가 기 존재하는지 확인하여 삭제해주는 옵션이에요. 
   
   그 후, '--target-dir'을 사용하여 대상 디렉터리를 생성하고
   마이그레이션을 진행합니다😁

A: 두 번째 커맨딩이 질문자 분이 궁금해하시는 
   'load data inpath~' 없이 
   다이렉트로 Hive 테이블에서 HDFS 내 데이터를 확인할 수 있는 작업니다. 
   
   마지막에 'location~' 구문을 추가하는데 
   이 때, 로케이션은 
   첫 번째 커맨딩의 '--target-dir'에서 설정한 디렉터리명과
   동일하게 설정해야합니다😁😁

• 첫 마이그레이션 이후, 데이터 이어쓰기

sqoop import 
      --username xxxx 
      --password xxxxx
      --num-mappers 1 
      --connect "jdbc:sqlserver://118.219.11.126:1566;database=ctf_spc" 
      --query "select a.xxxx, count(a.xx) as xxx  
               from aaaaa a with (nolock)
                    inner join bbbbb b with (nolock) 
                    on a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy and
                       a.xxx = b.yyy
                    inner join ccccc c 
                    on b.yyy = c.zzz and
                       b.yyyy = c.zzzz and
                       b.yyyyy = c.zzzzz 
                    inner join ddddd d 
                    on b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq and
                       b.yyy = d.qqq 
               where a.DATE = '2022-07-21' and
               \$CONDITIONS 
               group by a.xxx" 
      --target-dir /date_data_count/ 
      --as-textfile
      --append

A: 출간 이유에서 보면 시계열 데이터 사용 시, 추천한다고 했었쥬? 
   
   'where' 구문을 보시면 특정 날짜를 추가하려고 하는 모습이 보입니다. 
   
   그리고 데이터를 이어쓰려는 목적이기 때문에 
   '--delete-target-dir' 옵션이 사라지고, 
   
   마지막에 '--append' 옵션이 추가된 것을 확인할 수 있어요😁

위의 방식을 따르면, 더이상 데이터 덮어쓰기로 인해 소요한 시간들을 아낄 수 있답니다😁
시간은 금이니까요~~ Time is Gold