🚀 Pipenv 로 파이썬 가상환경 설정

Photo by Chang Duong on Unsplash

✋ 들어가기 전에 (2019년 4월 28일 업데이트)

---

Pipenv 를 검색하면 구글에서 무려 3번째에 검색되기 때문에 큰 책임감을 갖게 되네요 ㅠㅠ
Pipenv 를 사용하시는 것은 자유이지만 최근 업데이트가 작년 11월 28일 입니다

최근 들어서 Pipenv 사용을 하시려는 분들을 만류하고 있습니다

왜냐면

1. Officially Recommended 라는 말은 허상입니다.
   → https://chriswarrick.com/blog/2018/07/17/pipenv-promises-a-lot-delivers-very-little/
2. 업데이트가 느립니다.
   → 6 개월 넘게 공식 릴리즈가 없으면 보통은 다음 버전에 대한 마일스톤을 알려줍니다.
   → 일례로 NodeJS 의 yarn 패키지 매니저는 다음 일정에 대한 이슈 쓰레드가 있어요
3. 사용이 다소 불편하고, 사용자가 알지 못하는 블랙박스 동작이 너무 많습니다 (locking, sync...)
   → 패키지 명을 오타냈다가 다시 설치하려면 오류를 빼애액 내뱉는다거나...

패키지 이름 오타 예시

---

pipenv install sqlalchem (원래는 sqlalchemy 입니다) 처럼
패키지 이름이 오류가 나면 이후에 pipenv install sqlalchemy 처럼 정상적으로 입력해도

ERROR: ERROR: Could not find a version that matches sqlalchem
No versions found
Was https://pypi.org/simple reachable?

이런 짜증나는 오류가 납니다. 왜냐면 sqlalchem 이라는 패키지를 Pipfile 에 이미 기록했거든요
그래서 Pipfile 에서 저 패키지를 지우고 다시 설치해야 합니다

pyenv 로 돌아가시거나, 그냥 Docker 를 쓰세요.
저는 요즘은 그냥 도커로 환경을 만들어서 코딩합니다 ㅇㅅㅇ 너무 편해요!
그래도 계속 하시려면 이제 읽어 주시면 됩니다

👉 들어가는 말

---

파이썬 가상환경 설정에 굉장히 유용한 Pipenv 설치 및 사용법에 대한 간단한 가이드 입니다
기본적인 파이썬에 대한 지식과, MacOS, Python3 를 기준으로 설명합니다 (윈도우는 죄송 😞)

📚 Contents

---

1. Pipenv?
2. Installation
3. 사용법
4. 정리

🚀 Pipenv?

---

파이써니스타인 우리들에게 몇 가지 이미 유명한 패키지들이 있습니다
tensorflow, numpy, pandas, django, flask... 이렇게 한 번 쯤 들어봤을법 한 패키지 중에
requests 라는 HTTP client 패키지가 있습니다!

그리고 Pipenv 는 requests 를 만든 kennethreitz (케네스 레이츠) 라는 사람이 만든
파이썬 전용 가상환경 설정 패키지 입니다!

(The Hitchhiker’s Guide to Python! 라는 책의 저자이기도 합니다! 자세한건 블로그!)

🤔 가상환경?

---

대부분의 애플리케이션이 마찬가지이지만, 작업하는 환경은 대단히 중요합니다
같은 파이썬3 라고 할지라도 버전에 따라 지원이 되는 패키지들 또한 다르고
문법도 다를 수 있기 때문입니다

다른사람과 협업할 때, 서로 같은 파이썬 환경에서 작업하고 싶다면 가상환경을 고려해야 합니다
파이썬의 가상환경에 대한 공식 문서의 설명은 아래와 같습니다

가상 환경은 특정 버전 파이썬 설치와 여러 추가 패키지를 포함하는 완비된 폴더 트리입니다.
출처: https://docs.python.org/ko/3/tutorial/venv.html

파이썬의 가상환경은 또 하나의 파이썬을 설치하는 것과 유사합니다

전역으로 파이썬을 설치하면 (homebrew 로 설치했다는 가정하에)

• 파이썬 런타임
• 패키지 매니징 관련 실행파일(pip, wheel, setuptools)
• 라이브러리 저장소(site-packages)

등이 생성됩니다

가상환경을 이용하면, 이러한 설정을 격리된 공간에 구성시켜 줍니다
가상환경을 실행할 경우 (activate.sh) 에 일어나는 일에 대해서는 이 글 을 참고해보세요

대략적으로는

• PYTHON_PATH 와 같은 환경변수를 변경하고
• shell 의 subprocess 생성
• shell prompt 변경

과 같은 작업을 합니다!

요약하면,
내 콤피타에 지정된 버전의 파이썬을 하나 더 설치한다고 생각하시면 될 듯 합니다

만약 OS 수준의 환경까지 동일하게 하고 싶다면, Docker 를 고려해보세요
이에 대한 설명은 훌륭하신 분들꼐서 잘 설명해주셨으니 읽어보세요!

1. PyCharm + Docker로 파이썬 개발환경 셋업하기 (Dockerization)
2. [Python] 도커 vs Vagrant vs virtualenv

📦 Installation

---

당연하지만 설치를 해야 시작할 수 있습니다. 올바른 설치 방법을 알아두는건 엄청 중요합니다
왜냐면 이상하게 설치되면 엉킨 걸 푸는게 어려워요

아래와 같은 순서로 진행합니다

1. python 버전과, pip 버전 체크
2. 전역에 pipenv 설치
3. 올바르게 설치되었는지 확인

✅ python 버전과, pip 버전 체크

---

MacOS 에는 기본적으로 python2 가 설치되어 있습니다 (Mojave 기준)

$ python --version
Python 2.7.15

$ python3 --version  # 만약 설치하지 않으셨으면, 오류가 발생합니다. 특별한 이유가 아니라면 Python3 를 사용해 주세요
Python 3.7.1

만약 Python3 를 설치 하지 않았다면 아래와 같이 설치해주세요

$ brew install python3  # 영상은 이미 저는 설치되어 있어서 reinstall 명령어를 사용했습니다

pip 버전 확인 (pip 는 NodeJS의 npm 과 비슷한 역할을 합니다)

$ pip --version
pip 18.0 from /usr/local/lib/python2.7/site-packages/pip (python 2.7)  # homebrew 로 설치한 경우

$ pip3 --version
pip 18.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)  # homebrew 로 설치한 경우

python3 를 예전에 설치하셨거나
pip 업그레이드를 하신지 시간이 지났다면 업그레이드를 하고 진행하시는 것을 추천합니다

$ brew reinstall python3
$ pip3 install pip --upgrade
$ pip3 --version
pip 18.1 from /usr/local/lib/python3.7/site-packages/pip (python 3.7)  # 업그레이드 성공 👍

🌍 전역에 Pipenv 설치

---

제가 위에서 pip와 pip3의 버전을 각각 체크했을때
괄호 안에 (python 2.7) 또는 (python 3.7) 로 나타나는걸 보셨나요?
pip는 각각의 파이썬 런타임과 연결되어 있습니다

그래서, StackOverflow 같은 곳에서 코드를 그대로 복붙하면 의도지 않은 동작이 발생합니다
특히나 sudo pip install 개쩌는패키지 또는 pip install 짱좋은패키지 --user 와 같은 설치 방법은
개인적으로는 사탄도 한 수 접고 가는 조언이라고 생각합니다 👹

sudo 로 설치하는 경우는 아시겠지만, 권한이 꼬여버릴 문제가 다분합니다
설치는 sudo로 했는데, 파이썬 런타임은 sudo 권한이 없다면...? 패키지 실행이 안되겠죠?
sudo 설치의 문제에 대해 잘 다뤄주신 글의 있어 소개합니다 → Sudo pip install은 안돼요!

다시 본론으로 돌아와서,
pip 는 python 2.7.15 의 것입니다. pip3 는 python 3.7.1 의 것이구요

대단히 중요한 점입니다. 만약 저 사실을 인지하지 못하고
pip install pipenv 라고 해버리면
pipenv는 기본적으로 python2를 기반으로 실행되게 될 것입니다

최초에 전제를 Python3 환경이라고 했기 때문에, 우리는 아래와 같은 명령어를 실행해야 합니다

$ pip3 install pipenv
$ pipenv --version
pipenv, version 2018.11.26  # 181216 기준

이제 설치가 완료되었습니다.

근데 공식 문서를 읽어보신 분들은 homebrew 로 설치하는 방법도 안내하는데
왜 pip3 로 설치하는지 궁금해 하시는 분들이 많을 거라고 생각해요

얼마 전(아마 9월 경), Python3 의 stable 이 3.6.5 에서 3.7.1 로 올라가면서
homebrew 의 python3 기본 버전도 3.7 버전이 되었습니다
하지만 많은 패키지들이 아직 3.7 을 지원하지 못하고 있었죠 (Pipenv 도 마찬가지 입니다)
그래서 homebrew 에서 Python3 버전을 강제로 3.6.5_1 로 롤백하고
다시 Pipenv 를 설치해야 하는 불상사가 있었습니다...

지금은 괜찮지만 언제 이런 문제가 발생할지 모르기 때문에
pip3 로 설치하는 것을 선호하는 편입니다

👀 올바르게 설치되었는지 확인

---

일단 pip3 로 잘 설치되었는지,
Pipenv 의 파이썬 런타임이 3.7.1 인지 확인하면 되겠습니다

$ pip3 freeze  # 만약 다른 패키지를 설치하셨으면, 더 나타나겠죠
certifi==2018.11.29
pipenv==2018.11.26  # 얘랑
virtualenv==16.1.0  # Pipenv의 의존성인 얘랑
virtualenv-clone==0.4.0 # 애도...

$ cd $HOME  # 집으로...
$ mkdir pipenv-test && cd pipenv-test  # 테스트해볼 폴더를 하나 만들어요
$ pipenv shell  # 이따 설명하겠지만, 가상환경 시작 명령어 입니다
(pipenv-test-tXHIoQb5) $ python --version  # 이제 더 이상 python3 --version 이 아닌점도 참고하세요
(pipenv-test-tXHIoQb5) $ pipenv --rm  # 확인했으니 지웁시다
(pipenv-test-tXHIoQb5) $ exit  # 이 쉘에서 나가서
$ cd .. && rm -rf pipenv-test  # 엄마가 물건 썼으면 제 자리에 두라고...

👨‍🏫 사용법

---

설치는 잘 했습니다. 시작이 반 인데 시작도 했고 설치도 했으니 사실상 다 했습니다
이제 진짜 써봐야겠죠

일단 모르면 man-page 를 보는게 인지상정

$ pipenv --help

Usage: pipenv [OPTIONS] COMMAND [ARGS]...

Options:
  --where             Output project home information.
  --venv              Output virtualenv information.
  --py                Output Python interpreter information.
  --envs              Output Environment Variable options.
  --rm                Remove the virtualenv.
  --bare              Minimal output.
  --completion        Output completion (to be eval'd).
  --man               Display manpage.
  --support           Output diagnostic information for use in GitHub
                      issues.
  --site-packages     Enable site-packages for the virtualenv.  [env var:
                      PIPENV_SITE_PACKAGES]
  --python TEXT       Specify which version of Python virtualenv should
                      use.
  --three / --two     Use Python 3/2 when creating virtualenv.
  --clear             Clears caches (pipenv, pip, and pip-tools).  [env
                      var: PIPENV_CLEAR]
  -v, --verbose       Verbose mode.
  --pypi-mirror TEXT  Specify a PyPI mirror.
  --version           Show the version and exit.
  -h, --help          Show this message and exit.


Usage Examples:
   Create a new project using Python 3.7, specifically:
   $ pipenv --python 3.7

   Remove project virtualenv (inferred from current directory):
   $ pipenv --rm

   Install all dependencies for a project (including dev):
   $ pipenv install --dev

   Create a lockfile containing pre-releases:
   $ pipenv lock --pre

   Show a graph of your installed dependencies:
   $ pipenv graph

   Check your installed dependencies for security vulnerabilities:
   $ pipenv check

   Install a local setup.py into your virtual environment/Pipfile:
   $ pipenv install -e .

   Use a lower-level pip command:
   $ pipenv run pip freeze

Commands:
  check      Checks for security vulnerabilities and against PEP 508
             markers provided in Pipfile.
  clean      Uninstalls all packages not specified in Pipfile.lock.
  graph      Displays currently-installed dependency graph information.
  install    Installs provided packages and adds them to Pipfile, or (if
             no packages are given), installs all packages from Pipfile.
  lock       Generates Pipfile.lock.
  open       View a given module in your editor.
  run        Spawns a command installed into the virtualenv.
  shell      Spawns a shell within the virtualenv.
  sync       Installs all packages specified in Pipfile.lock.
  uninstall  Un-installs a provided package and removes it from Pipfile.
  update     Runs lock, then sync.

기능이 많은데, Commands 는 몇 개 안됩니다
패키지 관련된 명령어는 check, clean, graph, install, lock, sync, uninstall, update
실행과 관련된 명령어는 open, run, shell 정도입니다

아래와 같은 순서로 실습 해보겠습니다

1. 가상환경 생성
2. 가상환경 잠깐 엿보기
3. 가상환경에서 패키지 설치하기
4. 가상환경에서 스크립트 실행
5. Pipfile, Pipfile.lock
6. 가상환경 제거

가상환경 생성

---

먼저 가상환경을 처음 생성하려면 위에 나온 방법처럼
pipenv --python 3.7 과 같이 시작할 수 있습니다
또는 pipenv shell 로도 시작할 수 있습니다

pipenv --python 3.7 과 pipenv shell 명령어의 차이점은
pipenv --python ... 명령어는 가상환경을 만들고 나서
따로 pipenv shell 명령어로 가상환경에 진입해야 한다는 점입니다

엄밀히 말해서, pipenv shell 명령어는 가상환경을 시작한다는 의미이고
(만약 없다면 가상환경을 생성하고 시작)
pipenv --python 3,7 은 순수하게, 해당 버전의 파이썬 가상환경을 만드는 역할만 합니다!

중요한 건 시작하려는 프로젝트 디렉터리에 위치한 상태로 가상환경을 생성해야 한다는 점 입니다.
현재 위치를 기준으로, 가상환경 이름을 만들기 때문이죠

아까처럼 먼저 실습할 디렉토리를 하나 만듭니다

$ cd $HOME
$ mkdir pipenv-tutorial && cd pipenv-tutorial
$ pipenv shell #  또는 pipenv --python 3.7

이렇게 명령어를 실행하면 아래처럼 진행됩니다

가상환경이 만들어 졌습니다!

추가. 디렉토리 이름 기준으로 가상환경을 만들지만
당연하게도 ~/pipenv-tutorial 에서 pipenv shell 을 실행하는 경우와
~/Desktop/pipenv-tutorial 에서 pipenv shell 을 실행하는 경우는
다른 가상환경을 만들게 됩니다
(pipenv-tutorial 까지는 같지만 뒤의 -t1c6CZgR 과 같은 임의문자가 다릅니다

가상환경 잠깐 엿보기

---

가상환경은 파이썬을 하나 더 설치하는거랑 비슷하다고 말씀드렸죠?
그럼 이건 대체 어디 설치되는 걸까요?

pipenv --py 명령어로 확인할 수 있습니다

(pipenv-tutorial-S-kj1fAT) $ pipenv --py
$HOME/.local/share/virtualenvs/pipenv-tutorial-S-kj1fAT/bin/python

$HOME 의 숨겨진 디렉토리인 .local 안에 깊숙히 생성되네요!

가상환경에서 패키지 설치하기

---

파이썬에서 패키지를 설치하는 명령어는 pip install 입니다
Pipenv 환경에서는 pipenv install 로 설치하시면 됩니다!

(pipenv-tutorial-S-kj1fAT) $ pipenv install requests
Installing requests…
Adding requests to Pipfile's [packages] …
✔ Installation Succeeded
Pipfile.lock (b0f7f1) out of date, updating to (7b9a03)…
Locking [dev-packages] dependencies…
✔ Success!
Locking [packages] dependencies…
✔ Success!
Updated Pipfile.lock (b0f7f1)!
Installing dependencies from Pipfile.lock (b0f7f1)…
🐍 ▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉▉ 5/5 — 0

단, 여기서 기존 패키지 설치 방식과는 다른 점이 있습니다
바로 npm 처럼 devDependencies 를 지원한다는 점입니다
pipenv install --dev requests 과 같이 설치할 경우
Pipfile 에 [dev-packages] 하위에 리스팅 됩니다

$ cat Pipfile
[[source]]
name = "pypi"
url = "https://pypi.org/simple"
verify_ssl = true

[dev-packages]
requests = "*"  # 여기에

[packages]
requests = "*"

[requires]
python_version = "3.7"

가상환경에서 스크립트 실행

---

간단하게, 현재 파이썬 버전을 출력하는 app.py 라는 프로그램을 작성하겠습니다
현재 경로에 app.py 파일을 아래처럼 만들어 주세요

# 📁 app.py
import sys

def main():
    print(sys.version)

if __name__ == '__main__':
	main()

그리고 실행합니다

(pipenv-tutorial-S-kj1fAT) $ python app.py
3.7.1 (default, Nov 28 2018, 11:51:47)
[Clang 10.0.0 (clang-1000.11.45.5)]

가상환경 안에서 잘 실행되네요!

근데, npm 처럼 npm run 같은 기능은 없을까요? 라고 묻기가 민망하네요
당연히 있습니다 pipenv run [COMMAND] 로 실행할 수 있습니다

먼저 Pipfile 에 [scripts] 섹션을 만듭니다

(pipenv-tutorial-S-kj1fAT) $ vi Pipfile

[[source]]
name = "pypi"
url = "https://pypi.org/simple"
verify_ssl = true

[dev-packages]
requests = "*"

[packages]
requests = "*"

[requires]
python_version = "3.7"

[scripts]  # 섹션을 만들고
start = "python app.py"  # 실행할 커맨드를 추가하세요, "" 로 감싸주어야 합니다

위와 같이 start 라는 커맨드를 추가했으면 이렇게 실행할 수 있습니다

(pipenv-tutorial-S-kj1fAT) $ pipenv run start
3.7.1 (default, Nov 28 2018, 11:51:47)
[Clang 10.0.0 (clang-1000.11.45.5)]

Pipfile, Pipfile.lock

---

pipenv shell 명령어를 생성하면, 이 두 가지 파일이 생성됩니다
이 파일들은 어떤 역할을 할까요?

쉽게 설명하자면, npm 의 package.json , package-lock.json 에 각각 대응됩니다
Pipfile 은 Pipenv 가상환경이 참고해야할 설정입니다
(가상환경의 파이썬 버전, 설치해야할 패키지, 스크립트 등)
Pipfile.lock 은 deterministic-builds(결정론적 빌드) 를 구현하는데 사용합니다

⚠️ 결정론적 빌드란?
Be able to get the exact same set of dependencies on multiple machines.
→ 어떤 상황에서도 동일하게 site-packages tree 를 유지하며 설치할 수 있도록 함을 의미합니다
npm 홈페이지의 글을 읽어보시면 좀 더 자세히 참고하실 수 있습니다

가상환경 제거

---

실습이 끝났으니 정리를 해야겠어요
pipenv --rm 명령어로 가상환경을 삭제합니다
단, 생성과 마찬가지로, 삭제시에도 프로젝트 폴더로 이동하여 명령어를 실행해야 합니다

(pipenv-tutorial-S-kj1fAT) $ pipenv --rm
Removing virtualenv (/Users/doondoony/.local/share/virtualenvs/pipenv-tutorial-t1c6CZgR) …

정말 지워졌는지 아까 잠깐 엿보았던 경로 ($HOME/.local/**/...) 에서 직접 확인해 볼까요?

$ ls -al ~/.local/share/virtualenvs
... 없음 ... 또는 따로 생성하신게 있으면 뭔가 나올지도 ...

직접 ~/.local/share/virtualenvs 에서 가상환경 폴더를 rm -rf 명령어로 삭제해도 됩니다
지우는것도 간단하네요!

🧹 정리

---

pipenv 는 간단하게 가상환경을 생성해주고
결정론적 빌드가 가능하도록 하여 협업에 굉장히 좋습니다

다만, 개인적인 생각으로는 오픈소스이다 보니
Python3 의 버전, Pip 의 버전 업그레이드에 바로바로 대응하기는 어려운 듯 합니다

잠깐 야크털을 깎자면...
최근 pip18.1 로 업그레이드 되면서, pipenv 와 충돌이 있었습니다 (현재는 해결)

이에 대한 이슈 쓰레드인데
"건설적이지 못한 메시지를 피하고 직접 발전에 기여해주면 좋겠어.
우리는 언제나 사람도 모자르기 때문에 기꺼이 너의 도움을 받을 의향이 있어"
와 같이 이야기하는 걸로 봐서, 오픈소스란 힘든거구나 느끼게 되었습니다 🤔

Pipfile, Pipfile.lock 파일을 통해, 간편하게 패키지 및 파이썬 버전 관리가 가능하며
(pyenv, virtualenv, virtualenvwrapper 모두 사용해 보았었습니다! 이게 가장 편해요)
python2 와 python3 가상환경을 각각 만드는게 정말 쉽다는 점 또한 엄청난 메리트 입니다

이 외에도 더 많은 기능이 있으니 여기에서 참고하세요!

편리한 기능들이란...

1. 자동으로 .env 파일이 있으면 읽어서 환경변수에 등록한다거나
2. requirements.txt 파일을 통해 패키지 설치 가능

긴 글 읽어주셔서 감사합니다!

🚀 TroubleShooting

---

만약 Pipenv 실행 과정에서 ValueError: unknown locale: UTF-8 에러 메시지가 나타나면
여기에서 안내하는대로 조치하세요