해당 페이지에서 jupyterhub를 띄우는 작업에 대해서 공유하고자 한다.
일단 AWS에서 제공하는 EMR은 불친절 + 일부러 오류가 안고쳐진 상태로 배포되는것 같다. ( 화딱지.. )
분명히 EMR클러스터를 띄울때 Application목록에 jupyterhub를 체크를 했고, 목록에서도 URL이 정상적으로 노출이 되는것 같은데 9443 포트가 LISTEN중이 아니였다.
결국 docker container로 돌아가는 사실을 알게 되었고, 해당 부분부터는 삽질을 해결한 부분만 작성한다.
docker.service 이슈
emr master-node 인스턴스에 docker images 명령어를 통해 jupyterhub 이미지가 존재하는지 체크하려고 했는데 서비스 자체가 내려가 있다. 다음 명령어로 서비스를 실행하자
sudo systemctl start dockerContainer 재시작 반복 이후 종료 이슈
이미 만들어진 container가 존재하였다. ( 그럼그렇지 체크했는데! )
다만, sudo docker start [container_id]를 수행하면 동작하는것이 아니라 재시작이 5번정도 이루어지다가 죽어버린다.
# sudo systemctl status docker 를 통해 확인한 에러
4월 11 17:42:33 ip-10-0-90-53 dockerd[4863]: time="2022-04-11T17:42:33.058535926+09:00" level=info msg="ignoring event" container=c8180453d968bafe5f7fb69c767e8d16b1ccf37c85874a33c0aa4f8709783d42 module=libcontainerd namespace=moby topic=/tasks/delete type="*events.TaskDelete"해당 에러를 조사해보았지만 알수도 없고,, 어찌해야할까 고민하다가 분명히 어딘가에 로그를 적재할듯 하여 인스턴스 내부를 조사했다.
/var/log/jupyter/jupyter.log컨테이너 서비스를 실행할때 지속적으로 에러 및 재실행을 겪고 있는 로깅이 되고 있었다.!!!!
발생하고 있는 에러는 다음과 같다.
[E 2022-04-11 09:22:48.299 JupyterHub app:1564] Refusing to run JupyterHub with invalid cookie_secret_file. /home/jovyan/jupyterhub_cookie_secret error was: cookie_secret_file can be read or written by anybody직역하면
해당 쿠키파일은 어느 누구든 읽고, 쓸수 있어야 한다정도인듯 한데. 시작하자마자 재시작 하고 죽어버리는 컨테이너인데 저 파일에 대한 권한을 어찌 고쳐????
결국 성공하였다. exec로 접근해서 파일을 변경하려 했으나 시간상 성공할 수 없었고 다음과 같은 명령어로 시도 하였다.
docker exec -it jupyterhub chmod 600 /home/jovyan/jupyterhub_cookie_secret후... 드디어 정상적으로 서비스가 시작되었다.
접근시 - 연결이 비공개로 설정되어 있지 않습니다 이슈
https://ip:9443 으로 접근했더니 다음과 같은 페이지가 되면서 접근이 되질 않았다. 보통 이런 경우 그냥 무시하고 접근하는 버튼이 있는데 이 버튼도 존재 하지 않는다. ( 산넘어 산 )
이것저것 구글링한 결과, 가장 간편한 방법이 있다.
해당 페이지 내에서 thisisunsafe 입력하기
나도 이번에 처음봤는데 이스터에그처럼 쓰는 곳도 없이 그냥 타이핑하면 들어갈 수 있다!!
초기 아이디/비밀번호 이슈
로그인 화면도 나왔는데 해당 페이지의 로그인 아이디/비밀번호를 입력해야 하는데 뭐지 ? 하고 구글링을 했더니 다음과 같이 초기 접근정보가 나왔다.
The username is "jovyan" and the password is "jupyter"
정상적으로 동작됨을 확인하였고 간단한 파이썬 테스트를 진행했다
