데브코스 쓰레기 탐지 프로젝트 AWS사용

• AMI이름 : al2023-ami-2023.1.20230629.0-kernel-6.1-x86_64
• amazon linux 23은 Fedora 기반이다. (apt-get사용 불가 / yum or dnf)
  • Fedora나 CentOS 기반 시스템은 비슷한 구조인듯(???확인해보기)

리눅스 디렉터리 구조

리눅스 디렉토리 구조 by 흉내쟁이
보통 home/<사용자> 사용

도커 설치 및 명령어

Docker install on Linux by Heyan Maurya
도커는 300MB밖에 안되는 용량

1. sudo dnf update	# 패키지 매니저 업데이트
2. sudo dnf install docker # docker 설치
3. sudo systemctl start docker # docker 시작 명령어
----옵션---------------------
4. sudo systemctl enable docker # 서버실행시 자동 시작 추가
# 매번 sudo입력 없애기
5. sudo usermod -aG docker $USER	# 사용자를 docker그룹에 할당
6. newgrp docker					# 적용
----리눅스 명령어-------------- 
sudo systemctl is-active docker # docker실행중인지 확인
sudo systemctl stop docker 		# docker 종료
cat /etc/os-release				# os 정보 확인
df -h							# 용량 확인
----Docker 명령어 ------------
docker --version / docker info			# 설치된 Docker 버전 / 상세정보
docker ps 					# 현재 돌아가는 컨테이너 확인
docker ps -a				# 존재하는 모든 컨테이너 확인(종료된 컨테이너도 확인)
							# STATUS가 Exited(0)이면 종료된 컨테이너

docker images				# 현재 Docker 머신에 설치된 이미지 확인

docker run -it --rm <이미지 이름>	# 이미지 실행 rm은 일회성 옵션으로 리소스 삭제
sudo docker run --gpus all -it --rm -v /home/ec2-user:/workspace <이미지 이름 또는 ID> /bin/bash	# -v옵션으로 볼륨 공유 서버볼륨 : workspace / /bin/bash로 bash실행

docker commit <컨테이너 ID> <저장하고 싶은 이름:태깅> # ps로 현재 실행중인 컨테이너 이미지로 저장

docker rm <컨테이너id>		 # 컨테이너 삭제 
docker rmi <이미지 id>		  # 이미지 삭제
docker info --format '{{.DockerRootDir}}'	# 이미지가 저장되는 경로 확인

도커에서 GPU사용

카카오 우분투 GPU 예제
AWS 엔비디아 드라이버 설치 가이드
Cuda toolkit 사이트
2번 : gcc와 kernel-head가 설치되있어야 3.3의 드라이버 설치가 가능함

1. nvidia-smi		# 엔비디아 드라이버 설치 확인
					# nvidia-smi: command not found 출력 시 드라이버 설치

1.1 sudo yum erase nvidia cuda	# 드라이버 업데이트 시 버전 충돌을 위한 삭제
	# 드라이버가 설치되지 않았다면 Nothing to do같은 메세지가 출력됨
    
    
2.1 sudo dnf install gcc # gcc패키지 설치 177MB
2.2.1 cd /usr/src/kernels/	# 커널 디렉토리로 이동
2.2.2 ls -l					# total 0이라면 아래의 방법 시도
2.2.3 sudo dnf install kernel-devel	# 설치	178MB

3. BASE_URL=https://us.download.nvidia.com/tesla
	# BASE_URL환경변수 설정
3.1 DRIVER_VERSION=450.80.02
	# DRIVER_VERSION환경변수 설정 / 버전은 NVIDIA드라이버 사이트에서 확인
3.2 wget $BASE_URL/$DRIVER_VERSION/NVIDIA-Linux-x86_64-$DRIVER_VERSION.run
	# wget명령어로 파일 다운로드
3.3 sudo sh cuda_11.4.0_470.42.01_linux.run --override
	# 다운로드한 드라이버 파일 실행

4. nvidia-smi 로 잘 설치됬나 확인해보자
4.1 드라이버 모듈을 찾지 못했다면 sudo dnf install pkgconfig 설치 후 드라이버 재설치(3.3)


# cuda toolkit설치
5.1 wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run	# 3단계에서 cuda toolkit 버전확인
5.2 sudo sh cuda_11.4.0_470.42.01_linux.run # cuda toolkit 설치
5.3 맨위 driver는 체크해제 하고 설치

#환경변수 추가 명령어
5.4 $ sudo sh -c "echo 'export PATH=$PATH:/usr/local/cuda-11.4/bin' >> /etc/profile"
	$ sudo sh -c "echo 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/cuda-11.4/lib64' >> /etc/profile"
	$ sudo sh -c "echo 'export CUDADIR=/usr/local/cuda-11.4' >> /etc/profile"
	$ source /etc/profile
 
6. nvcc -V # 잘 설치됬나 확인~

7. nvidia-docker 설치 (아래에서 os에맞게 선택)
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

CUDA버전 고르기
Capability 에서 사용할 수 있는 CUDA버전 부터 ~ NVIDIA드라이버 버전의 CUDA버전 사이에서 고르면 됨

• 높은 CUDA버전은 하위 버전을 지원함
• CUDA버전 <= 드라이버 버전 a
  • 내 드라이버 버전이 a보다 낮으면 해당 CUDA버전은 사용 못함

Conda

미니콘다 설치법

activate conda base	# 콘다 실행

label studio

docker run -it --user root -v `pwd`/mydata:/label-studio/data heartexlabs/label-studio:latest chown -R 1001:root /label-studio/data/

docker run -it -p 8080:8080 -v `pwd`/mydata:/label-studio/data heartexlabs/label-studio:latest