AWS
1.AWS
AWS란? Amazon Web Services의 약자 Region AWS 서비스가 제공되는 데이터 서버의 물리적 위치이다. 속도, 저작권, 세금, 법률 등을 고려하여 선택해야한다. AZ Availability Zone의 약자이다. 하나의 region은 반드시 2개
2.AWS S3
Simple Storage Service의 약자로 SSS를 S3로 줄여 말한다.파일 서버의 역할을 하는 서비스트래픽이 증가함에 따라서 장비를 증설하는 작업을 대행한다.많은 사용자의 접속을 감당하기 위해 시스템적인 작업이 필요 없음.저장할 수 있는 파일 수의 제한이 없음
3.AWS Glue
분석 사용자가 여러 소스의 데이터를 쉽게 검색, 준비, 이동, 통합할 수 있또록 하는 서버리스 데이터 통합 서비스이다.70개 이상의 데이터 소스를 검색하여 연결하고 중앙 집중식 데이터 카탈로그에서 데이터를 관리할 수 있다.데이터 검색 및 구성AWS의 모든 데이터를 카탈
4.kafka to s3
Kafka
5.DMS (EC2 mysql to RDS)
ec2 생성 이름 설정 Amazon linux 프리티어 사용 키페어 등록 인스턴스 시작 yum install http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm yum install mysql
6.DMS (EC2 mysql to S3)
DMS를 통해 EC2 mysql에서 S3로 데이터를 migration 한다.우선 EC2를 생성해 myqsl을 설치해보자.EC2 인스턴스 설정이름 설정OS : Amazon Linux 프리티어인스턴스 유형 : 프리티어터미널 환경에 접속하여 mysql을 설치한다.mysql을
7.S3 bucket 생성
S3 bucket을 그냥 생성했는데 보안이 취약하다고 다시 설정 요청을 받음취약점 확인 부분은 3가지였다.버킷의 암호화암호화 CMK 설정버킷 쟁책에 SSL Requests Only가 설정되어 있는지 확인버킷의 암호화는 3가지 중 하나를 선택하게 되어 있다.SSE-S3가
8.API Gateway, AWS Lambda, S3
데이터브릭스에서 S3로 저장한 데이터를 타 시스템에 API로 제공해야하는 일이 생겼다. 설계와 비교 구조는 크게 4가지를 생각했다. API Gateway - kinesis - kinesis data firehose - S3 Kinesis data stream :
9.API Gateway, AWS Lambda, S3
데이터브릭스에서 S3로 저장한 데이터를 타 시스템에 API로 제공해야하는 일이 생겼다. 설계와 비교 구조는 크게 4가지를 생각했다. API Gateway - kinesis - kinesis data firehose - S3 Kinesis data stream :
10.AWS API Gateway REST API 프라이빗 구축
API gateway 서비스를 사용할 때 VPC 내에서만 액세스할 수 있도록 REST API를 생성하려고 한다.순서는 다음과 같다.VPC Endpoint 생성 -> Private REST API GateWay 생성 -> lambda 함수 생성 -> api gateway
11.AWS Route 53, API Gateway 도메인 생성
API Gateway를 생성하였지만 url이 복잡하여 사용자 편의성을 고려해 도메인을 생성하기로 했다.순서는 다음과 같다.Route53에서 도메인 구매 -> ACM 인증서 생성 -> Gatewayaws console에서 route53 서비스를 검색한다.메뉴에서 등록된
12.API Gateway, Lambda, ElastiCache
False alarm을 머신러닝 모델을 이용하여 예측하여 반환하는 서비스를 만들기 위해 API Gateway, Lambda, ElastiCache를 사용하였다. IAM 생성 보안 그룹 생성 AWS Console에서 VPC를 입력하여 들어간다. 왼쪽 목록에서 보안 그
13.SAA-C03 스터디
문제 풀이 여러 글로벌 사이트에서 하나의 버킷에 가능한 빨르게 적재 s3 transfer acceleration을 사용한다. multipart upload 기능을 사용하여 대용량 파일을 병렬로 빠르게 업로드 한다. s3에 JSON으로 적재 된 데이터를 분석하기 위한
14.Amazon ECS의 기본 로깅 구성에 대한 변경
가용성을 높이기 위해 25년 6월 25일 ECS의 로깅 기본 설정이 non-blocking으로 변경된다고 한다.ECS의 경우 로깅 모드가 기본적으로blocking(로그 손실 방지를 위함)이며 Cloud watch log에 일시적으로 장애가 발생하여 로그를 전송할 수 없
15.Lambda 성능 개선 7가지 방법
충분히 빠르다는 생각을 하지만 그래도 더 최적화 해달라는 요청이 있어. 최적화를 해보았다.불필요한 코드는 메모리를 잡아 먹어 성능을 저하시킬 수 있다.import 중복 제거import 중복 제거는 크게 영향을 끼치지 않지만 그냥 제거한다.의미없는 print 제거prin