자연어처리 입문 - 1. 개발환경

개발환경을 구축해보자.
os : window 10 기준
윈도우에서 다중 계정을 사용하므로 '--user' 옵션을 추가할것.

우선 python이 설치되어 있는지 확인해보자.

python - V

Anaconda를 설치하자.

아나콘다설치

이미 설치되어있다면 Anaconda prompt를 실행하여 최신버전으로 업데이트 해주자.

conda update -n base conda
conda update --all

pip를 최신버전으로 업그레이드하자.

pip install --user --upgrade pip

pip로 tensorflow를 설치하자.

pip install tensorflow

만약 권한 오류가 발생한다면 (필자의 경우 윈도우 계정이 여러개이다.) 당황하지 말고 --user 로 설치하면 된다.

pip install --user tensorflow

잘 설치됬는지 확인했는데 numpy 오류가 발생하여 다운그레이드

pip uninstall --user numpy
pip install --user numpy==1.19.3

Could not load dynamic library 'cudart64_110.dll'; dlerror: cudart64_110.dll not found. Ignore above cudart dlerror if you do not have a GPU set up on your machine. 오류 해결

그래픽카드 NVIDIA GPU관련 라이브러리가 없다고 해서 해당 라이브러리 설치해줬다.

CUDA설치

다음 단계를 위한 라이브러리 설치 및 설명

1. tensorflow

구글에서 2015년에 공개한 기계 학습(머신러닝)을 위한 오픈소스 라이브러리

2. Keras

텐서플로우와 같은 기계 학습(머신러닝) 엔진을 다루기 쉽게 하는 인터페이스 라이브러리

pip install keras

> ipython
...
In [1]: import keras
In [2]: keras.__version__
Out[2]: '2.3.1'

3. Gensim

" Gensim = Generate Similar "

토픽모델링과 자연어 처리에 사용되는 오픈소스 라이브러리

pip install gensim

> ipython
...
In [1]: import gensim
In [2]: gensim.__version__
Out[2]: '3.8.1'

4. Scikit-learn (아나콘다 포함)

기계 학습(머신러닝)을 위한 다양한 함수를 제공하는 오픈소스 라이브러리. 사이킷런에서는 아이리스 꽃의 꽃받침 길이,너비 등의 50개의 데이터셋을 담은 샘플데이터를 제공하기도 한다.

pip install scikit-learn

> ipython
...
In [1]: import sklearn
In [2]: sklearn.__version__
Out[2]: '0.21.3'

5. Jupyter Notebook (아나콘다 포함)

웹에서 코드를 작성하고 실행할 수 있는 오픈소스 웹 어플리케이션

pip install jupyter

관리자 권한으로 cmd 실행 후

jupyter notebook