AWS기초
Amazon Web Service(2006.03~)
클라우드 컴퓨팅 플랫폼
Google GCP, Microsoft Azure,네이버 NCP
200개+ 서비스 제공
클라우드 컴퓨팅
인터넷을 통해 IT리소스 (서버,스토리지,데이터베이스,네트워킹)을 제공하고 관리하는 서비스
S3
Simple Storage Service
AWS최초의 서비스
클라우드 파일 저장소
AWS사용하고 있는 회사라면 99%의 확률로 활용하고 있음
기본개념
버킷
S3에서 데이터를 저장하는 컨테이너, 모든 객체는 반드시 하나의 버킷에 속해있다.
버킷은 S3스토리지 최상위 계층
사용자가 데이터를 저장하고 관리할수있는 일종의 폴더와 비슷함
각 버킷은 고유한 이름을 가져야한다
키
S3버킷 내에서 객체를 고유하게 식별하는 문자열
객체의 경로로 생각 할 수 있음
Cloudfront
AWS CDN 서비스
S3를 비롯한 AWS의 다른 서비스와 연동이 쉬움
CDN
Content Delivery Network의 약자
인터넷 사용자에게 웹 콘텐츠를 빠르고 효율적으로 제공하기 위해 설계된 분산형 서버 네트워크
실무활용 사례- 이미지 리사이즈
왜필요한가?
PC VS mobile
모든 이미지는 가로 사이즈보다 클 필요가 없다
대역폭 및 비용 감소
민감정보 보호방법
Signed URL
특정 사용자에게만 접근 권한을 부여하기 위해 URL에 만료 시간과 암호화된 서명을 포함한 URL
실무활용사례
S3 hosting& Cloudfront(feat.CPA)
S3 hosting
서버 사이드 스크립팅이 필요없는 정적 웹사이트에 최적 설정이 간단하고 관리가 쉬워 초보자도 쉽게 사용
서버관리가 필요없으며, AWS에서 모든 인프라를 관리
HTTPS 지원X Cloutfront,Router53 연동이 필수적
CPA
Cost Per Action
광고주와 퍼블리셔(즉, 트래픽을 제공하는 사이트 운영자)를 연결하는 플랫폼
이 모델에서 광고주는 특정행동(Action)을 기준으로 퍼블리셔에게 비용을 지불
S3,athena,Glue를 활용한 Data Lake
Data Lake
대규모의 원시 데이터를 원래의 형식 그대로 저장하는 중앙 집중형 저장소
스키마 온 리드(Schema on Read)방식
구조화된 데이터(ex) 관계형 데이터베이스의 테이블),반구조화된 데이터(JSON,XML 파일)
모두 저장
Data Warehouse
여러 출처에서 수집한 대규모 데이터를 통합 , 저장하고 분석할 수 있도록 하는 중앙 저장소
특정 비즈니스 주제(예: 판매,고객,제품)를 중심으로 데이터를 구성
데이터 웨어하우스는 대규모 데이터 집합에 대한 복잡한 쿼리와 분석을 최적화 하도록 설계
OLAP(OnLine Analytical Processing)
병렬쿼리
AWS Redshift , Redshift Spectrum
athena
S3에 저장된 데이터를 SQL을 사용해 쉽게 쿼리
완전히 서버리스
CSV,JSON, ORC, Parquet, Avro등의 다양한 포맷
쿼리 결과도 별도의 S3에 저장
필요한 쿼리만 실행하고 그에 따라 비용을 지불(S3조회 및 쓰기)
Glue
데이터준비,변환,로딩 작업을 자동화
Glue 데이터 카탈로그
:스키마관리
Glue 크롤러
:스키마 자동 인식 및 주기적으로 변화 감지
Glue ETL작업
:데이터를 추출,변환,로드하는 ETL파이프라인을 작성하고 실행
