당신의 인코딩은 안녕하십니까?

오늘 노마드코더 챌린지를 하며, 알바천국 페이지들의 직업정보를 크롤링해 csv에 저장하는 작업을 해보았다.

그런데 웬걸?
repl에서는 잘 되던게, Pycharm에서 하니 자꾸 실행 오류가 뜨는 것이다!!

이유를 살펴보니, cp949 코덱이 저걸 인코딩 못한단다. 어디서 있나 찍어보니, place에 있어서 바로 replace로 지워줬다. 그런데?

jobs.csv에서 문제가 터졌다.
분명 인코딩을 utf-8로 해주었는데, 이상한 물음표표시가 X나 뜨는것!

찾아보니, utf-8이 아니라 x-windows-949를 하니까 해결되었다.

솔직히 왜 해결 된 지는 잘 모르겠다.
utf-8이 ascii와 호환도 되고, 가장 잘 이용되는 표준이라는데,
x-windows-949는 확장 완성형 인코딩 방식이란다.

현재 윈도우 커널에는 유니코드가 적용되었지만, 한글 윈도우의 명령 프롬프트가 사용하는 기본 인코딩은 여전히 CP949라서 C나 C++등의 네이티브 프로그래밍 언어를 이용해 UTF-8을 한글 출력을 하려고 하면 한글이 깨져 나온다고 한다. (나도 이래서 깨진듯)

참고자료 : https://www.morenice.kr/123