1. 동기

크롤링을 실행하는 방법은 다양하지만, 그 중에서도 Docker + ECR + Lambda 조합을 선택한 데에는 명확한 이유가 있습니다.
하루에 한 번만 동작시킬 예정이었고, 동작 시간은 1시간 내외로 마무리 될 수 있는 작업입니다.

• EC2 - 상시 서버 운영이 가능하나 비용 부담이 큼
• Lambda + EventBridge - 정해진 시간에만 리소스 사용 → 비용 효율적이고 관리 간편

👉 Lambda + EventBridge 조합이 최소한의 비용으로 안정적인 크롤링 작업 수행 가능!

✅ Docker + ECR을 선택한 이유
Lambda에서 사용하는 Layer는 압축 기준 50MB, 압축 해제 시 250MB의 용량 제한이 있습니다.
그러나 저희가 사용하는 Chrome 드라이버는 1GB 이상의 용량이 필요하여 Lambda Layer로는 탑재가 불가능했습니다.

반면, Docker Image는 최대 10GB까지 허용되어 Lambda에서도 대용량 크롤링 환경 구성이 가능하여 이 방법으로 선택했습니다.

2. 구성 요소 및 Github 링크

📁 코드 전체는 아래 Github 저장소 참고
🔗 lambda-selenium-docker 구성 파일 보기

2-1. Dockerfile 구성 요약

✅ 공통 구성

• chrome, chromedriver → /opt/ 경로에 설치
• 실행할 파일들 → /var/task/에 위치해야 Lambda에서 인식 가능

Python Version 별 Lambda Image 유의사항

• AWS Python 기본 이미지 제공 정보

Python 버전	운영체제	패키지 관리자	특징
3.9 ~ 3.11	Amazon Linux 2	yum	기존 설치 방식과 유사
3.12 ~ 3.13	Amazon Linux 2023	dnf	yum 미지원 → dnf 사용 필수, 패키지 상이

파일 설명

• chrome-deps.txt: chrome 설치용 패키지 리스트
• install-browser.sh: 크롬 및 드라이버 설치 스크립트
• requirements.txt: pip 패키지 목록
• crawler.py: Selenium 실행 코드

3. Docker 이미지 빌드

우선 2번에 나와있는 Github에 있는 파일을 받아, crawler.py 파일을 기호에 맞게 수정하시고 진행해 주시면 됩니다.

Lambda용 아키텍처 설정

Docker 빌드 시 linux/x86_64 옵션을 추가해 주어야 람다 내에서 크롬이 정상적으로 동작합니다.
저는 crawler라는 이름으로 생성되도록 빌드를 진행했습니다.

$ docker build --platform linux/x86_64 -t crawler -f Dockerfile .

기능 업데이트 이후 캐시 초기화 필요 시(참고)

만약 기능 업데이트를 했음에도 Docker Image가 동일하게 빌드된다면 --no-cache 옵션을 추가해 재시도 해주시면 됩니다.

$ docker build --no-cache --platform linux/x86_64 -t crawler -f Dockerfile .

4. AWS ECR 업로드

1. IAM 계정 생성 및 aws configure

AWS 홈페이지에서 IAM 계정을 생성해 주면, access_key, secret_key 정보를 발급받을 수 있습니다.
이렇게 생성한 IAM 계정 정보를 로컬에서도 이용할 수 있도록 aws configure 명령어로 세팅해 줍니다.

# Access Key, Secret Key, 리전 등 입력

$ aws configure
AWS Access Key ID [None]:
AWS Secret Access Key [None]: 
Default region name [None]:
Default output format [None]:

이제 위에 입력한 IAM 계정을 기반으로 내 정보가 정상적으로 불러와지는지 체크해 줍니다.

$ export ACCOUNT_ID=$(aws sts get-caller-identity --output text --query Account)
$ echo "export ACCOUNT_ID=${ACCOUNT_ID}" | tee -a ~/.bash_profile

e.g) export ACCOUNT_ID=905418424719

ACCOUNT_ID가 나온다면 정상적으로 처리된 것입니다.
그러면 ~/.bash_profile에 저장되어 터미널을 새로 연 경우에도 ACCOUNT_ID가 자동으로 확인됩니다.

2. AWS ECR Private Repositories 생성

AWS ECR 리포지토리를 생성하면 리포지토리 이름, URI, 생성 날짜등의 정보들을 확인할 수 있는데, ECR Push 또는 Lambda에 등록하기 위해서는 URI 정보가 필요합니다.

• 이름 예시 - lambda-crawler-docker
• URI 형식 - $ACCOUNT_ID.dkr.ecr."리전명".amazonaws.com/"리포지토리 이름"

3. Docker image repository 변경

Docker Image 이름 확인

3번 항목에서 설정한 Docker Image 이름을 확인해 줍니다.
제가 설정한 Docker image 이름은 crawler 입니다.

$ docker images

REPOSITORY       TAG    IMAGE ID     CREATED    SIZE
crawler        latest 179972fa2472 5 hours ago 1.75GB

Docker Image에 ECR URI Tag 추가

crawler라는 로컬 Docker Image를 905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker라는 이름으로 재태깅 했습니다.
그러면 이제 이 이미지는 AWS ECR에 푸시할 준비가 완료된 상태입니다.

$ docker tag crawler 905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker

Docker Image 이름 재확인

그러면 동일한 IMAGE ID를 가진 이미지가 두 개의 REPOSITORY 이름으로 보여집니다.

$ docker images

REPOSITORY                                                               TAG     IMAGE ID     CREATED    SIZE
crawler                                                                 latest 179972fa2472 5 hours ago 1.75GB
905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker latest 179972fa2472 5 hours ago 1.75GB

4. ECR Image Push

ECR Docker Login

Docker Client를 인증하여 사용하도록 로그인하는 단계입니다.

$ aws ecr get-login-password --region "ap-northeast-2" | docker login --username AWS --password-stdin 905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker

Image Push 중 오류 발생

위 명령어를 입력했을 때 아래와 같이 권한 오류가 발생했습니다.
이렇게 발생한 이유는 IAM 계정에 아무런 권한을 부여하지 않았기 때문에 발생한 것입니다.

ecr:GetAuthorizationToken 권한은 docker login 할 때 ECR에서 인증 토큰을 발급받기 위해 필요한 권한입니다.
즉, ECR 로그인 자체를 할 수 없는 상황입니다.

An error occurred (AccessDeniedException) when calling the GetAuthorizationToken operation: User: arn:aws:iam::905418424719:user/ecr_iam is not authorized to perform: ecr:GetAuthorizationToken on resource: * because no identity-based policy allows the ecr:GetAuthorizationToken action
Error: Cannot perform an interactive login from a non TTY device

오류 해결을 위해 IAM 계정 권한 추가

이전에 생성한 IAM 계정에 접속하여 아래 권한을 추가해 줍니다.
Login, Image Push, Pull, Repository 보기 등을 하기 위한 권한입니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
              "ecr:GetAuthorizationToken",
              "ecr:BatchCheckLayerAvailability",
              "ecr:GetDownloadUrlForLayer",
              "ecr:GetRepositoryPolicy",
              "ecr:DescribeRepositories",
              "ecr:ListImages",
              "ecr:BatchGetImage",
              "ecr:PutImage",
              "ecr:InitiateLayerUpload",
              "ecr:UploadLayerPart",
              "ecr:CompleteLayerUpload"
            ],
            "Resource": "*"
        }
    ]
}

ECR Docker Login

권한 부여가 완료되었다면 이제는 아래 명령어 입력 시 성공적으로 로그인이 되실겁니다.

$ aws ecr get-login-password --region "ap-northeast-2" | docker login --username AWS --password-stdin 905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker

Login Succeeded

Docker Image Push

또한 권한 부여가 완료되었다면 Push 명령도 성공적으로 되실겁니다.

# 각자 ECR URI로 변경해 주셔야 합니다.

$ docker push 905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker
Using default tag: latest
The push refers to repository [905418424719.dkr.ecr.ap-northeast-2.amazonaws.com/lambda-crawler-docker]
5f70bf18a086: Pushed 
ebacb58d496a: Pushed 
f310bac807bc: Pushed 
7616ce0b8029: Pushed 
1b16eae0ab65: Pushed 
b5a6332d1ae3: Pushed 
aff961962f64: Pushed 
feeb3f35672c: Pushed 
22b878155803: Pushed 
b07d597978b2: Pushed 
13a69907ade8: Pushed 
6a9b57324378: Pushed 
bdd4095bce79: Pushed 
608834524d4b: Pushed 
f4b46dc2d7e0: Pushed 
latest: digest: sha256:a7cbc7cf9844e0347236962623ce83f95dcddf350a90932ac8db3e173cfdba5b size: 3469

4. Lambda 함수 생성

Lambda 함수 생성

4번 항목에서 업로드한 ECR URI 를 가지고 Lambda 함수를 생성해 줍니다.

Lambda 구성 변경

Lambda 함수는 최대 15분 동작 가능합니다.
다만, 처음 생성 시 초기 세팅은 3초로 되어 있고 메모리와 임시 스토리지 할당량도 낮아 변경이 필요합니다.

저는 제한시간 14분 59초, 메모리 2048MB, 임시 스토리지 5120MB로 변경했습니다.

Lambda 함수 테스트

테스트 탭에서 테스트 버튼을 클릭하면 진행 가능합니다.

하지만 저는 오류가 발생했습니다.
Chrome 실행 과정 중에 crashed가 발생한다는 내용이었고 추정되는 원인을 하나씩 파악해 가며 테스트를 반복했습니다.

오류 내용

{
  "errorMessage": "Message: unknown error: Chrome failed to start: crashed.\n  (chrome not reachable)\n  (The process started from chrome location /opt/chrome/chrome is no longer running, so ChromeDriver is assuming that Chrome has crashed.)\nStacktrace:\n#0 0x55a053875759 <unknown>\n#1 0x55a05380ecf3 <unknown>\n#2 0x55a0535eddc3 <unknown>\n#3 0x55a0536125ed <unknown>\n#4 0x55a05360db03 <unknown>\n#5 0x55a053647779 <unknown>\n#6 0x55a053641ef3 <unknown>\n#7 0x55a05361827b <unknown>\n#8 0x55a053619455 <unknown>\n#9 0x55a05383d870 <unknown>\n#10 0x55a05384f8b0 <unknown>\n#11 0x55a05384f5bc <unknown>\n#12 0x55a05384fe32 <unknown>\n#13 0x55a05383eb9b <unknown>\n#14 0x55a0538500b6 <unknown>\n#15 0x55a0538304dd <unknown>\n#16 0x55a053867888 <unknown>\n#17 0x55a053867a12 <unknown>\n#18 0x55a053881c2e <unknown>\n#19 0x7f353e0ae44b <unknown>\n#20 0x7f353cbc152f <unknown>\n",
  "errorType": "WebDriverException",
  "requestId": "599f599b-7765-4bf5-9f79-efa5c5436a5e",
  "stackTrace": [
    "  File \"/var/task/crawler.py\", line 9, in handler\n    suc_cnt, err_cnt = crawler_target()\n",
    "  File \"/var/task/crawler.py\", line 33, in crawler_target\n    driver = webdriver.Chrome(service=service, options=chrome_options)\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/chrome/webdriver.py\", line 45, in __init__\n    super().__init__(\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/chromium/webdriver.py\", line 66, in __init__\n    super().__init__(command_executor=executor, options=options)\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py\", line 212, in __init__\n    self.start_session(capabilities)\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py\", line 299, in start_session\n    response = self.execute(Command.NEW_SESSION, caps)[\"value\"]\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/remote/webdriver.py\", line 354, in execute\n    self.error_handler.check_response(response)\n",
    "  File \"/var/lang/lib/python3.9/site-packages/selenium/webdriver/remote/errorhandler.py\", line 229, in check_response\n    raise exception_class(message, screen, stacktrace)\n"
  ]
}

오류 수정한 내용

1. chrome_options binary 파일 위치 누락

크롤링하는 파이썬 파일 내 옵션을 지정할 수 있는 바이너리 파일 위치를 누락했습니다.
그래서 찾을 수 없었고 오류가 발생했습니다.

chrome_options.binary_location = "/opt/chrome/chrome"

2. headless 등 옵션 누락

1번 내용을 수정한 후, 테스트를 진행했지만 또 다시 오류가 발생했습니다.
headless 를 비롯한 no-sandbox, disable-dev-shm-usage 옵션을 누락했습니다..ㅎㅎ

맥에서 테스트할 때는 화면을 보며 테스트해서 아래 옵션들을 제거하였는데,
Lambda에서는 GUI가 없는 서버 환경이어서 해당 옵션이 없으면 오류가 발생합니다.

chrome_options.add_argument('--headless')
chrome_options.add_argument("--no-sandbox")
chrome_options.add_argument("--disable-dev-shm-usage")

옵션 설명

• --headless - 브라우저 UI 없이 백그라운드에서 Chrome을 실행합니다.
• --no-sandbox - Chrome의 보안 샌드박스를 비활성화합니다.
• --disable-dev-shm-usage - /dev/shm (공유 메모리)를 사용하지 않고 대신 디스크 기반의 임시 저장소(/tmp)를 사용하도록 설정합니다.

Lambda 함수 재테스트

데이터가 적은 페이지 기준으로 테스트를 진행하였는데, 성공적으로 처리된 것을 볼 수 있습니다. 나이뜌~

---

참고자료 📩

• AWS Python 기본 이미지 제공 정보
• selenium into aws lambda