13년된 교회 홈페이지 데이터베이스를 옮기는데 고생했다는 이야기...
시간이 늦었으니 고생했던 점 몇가지만 적구 얼른 자자!
- 제일 문제였던 것..
- 100만건이 넘어가는 데이터를 데이터 내보내기로 사용하려니 너무 많아서 계속 에러가 났다.
- 이때가 윈도우 인증모드로 접속할때였어서 그런지 csv나, 엑셀파일로만 내보내기가 가능하더라.
- csv, tsv는 10만건, 엑셀파일은 10000만건 정도씩을 분할해야 에러가 나지 않았었다.
- 그래서 tsv로 받았는데 또 하나의 문제가 발생했다. 게시판 데이터다보니까 tsv파일은 줄바꿈을 해결할 수 없었다...
- 고민 고민하다가, 어차피 내보내기를 할거면 파이썬에서 dataFrame을 만들어서 저장하거나 다른 db에 삽입하자는 생각이 떠올랐다.
- 파이썬에서 데이터만 불러올 수 있으면 된다! mssql은 이번에 처음 다뤄보는거지만 커넥션 만들고 select하는 거 정도야 금방하겠지! 라고 생각을 했었지....
- 윈도우 인증모드로 하니 pymssql에서 커넥션을 못했다.
- 분명 하는 방법이 없지는 않을 것 같긴 한데, 빠른 시간 안에 옮기는 게 중요하다 생각했다.
- 해결은 인증모드가 아닌 혼합모드로 해서 결국 connection을 만들었다.
- ansi로 인코딩 되어있는 것을 utf-8로 바꾸느라 한참 고생했다.
- 분명히 나는
ms949,iso-88어쩌구,utf8,euc-kr,cp949다 해봤다고 생각했는데..cp949를 해봤다고 착각한거였더라.. - 역시 정확하게 알고있는게 중요하다... 이런...!
잘 몰라서 쓸데없이 고생한 이야기지만
그래도 한군데 막혀있다 끝난게 아니라 다른 방법들을 찾아내서 해결해냈다는 점, 이렇게 조금씩 조금씩 경험이 쌓여간다는 점은 나를 기분 좋게 해주는 것 같다.
