- 전체보기(28)
- aws(22)
- ecs(5)
- GLUE(4)
- linux(3)
- API Gateway(3)
- Kinesis(2)
- command(2)
- service(2)
- docker(2)
- Fargate(2)
- REST API(1)
- shard(1)
- API gatewa(1)
- dockerfile(1)
- ec2 방식(1)
- IAM(1)
- Task definittions(1)
- cluster(1)
- install package(1)
- awscli(1)
- ssh(1)
- ec2(1)
[AWS] Glue - workflow
glue workflow 생성AWS Glue Workflows - 모든 구성 요소의 실행과 모니터링을 관리합니다경로 AWS Glue → 워크플로 → 워크플로 추가워커플로 이름 - data-workflow워커플로 추가 클릭5-2. 트리거 추가트리거 추가Add new 클릭
[AWS] Glue - job
glue job 생성 (데이터 변환)경로 AWS Glue Studio → JobsCreate Job - Visual with a source and target ( 프로세스 또는 변환이 쓰는 데이터 저장소 )Create 클릭제목 - skills-glue-job (과제지
[AWS] Glue - crawler
Glue crawler 생성Glue crawler - 모든 종류의 리포지토리(ex) - s3)에서 데이터를 스캔하고 분류하며, 스키마 정보를 추출하고, AWS Glue Data Catalog에서 자동적으로 메타데이터를 저장하는 크롤러를 설정할 수 있습니다스키마 - 데이
[AWS] Glue - Databases+table
Glue 개념 사이트 - https://velog.io/@ginee_park/AWS-Glue란Glue Databasess - 중앙 메타데이터 저장소라고 하는 데이터베이스를 사용한다.이 말은 즉, 모든 데이터를 한 곳에 모아 ETL 작업을 할 수 있도록 제공한다
[AWS] api gateway 특정 IP만 접근 허용
api gateway가 다 만든 가정하에 구성한다리소스 정책 생성경로 API gateway → (자신이 생성한 API gateway 선택) → 리소스 정책참고 사이트 - https://repost.aws/knowledge-center/api-gateway-re
[AWS] api gateway - 파티션 키
경로 API gateway → (자신이 생성한 API gateway) → 배포배포 스테이지 - 새 스테이지스테이지 이름 - deploy배포 클릭경로 API gateway → (자신이 생성한 API gateway) → Usage Plans → Usage Plans Cre
[AWS] API gateway - Shard ID출력
(REST API가 이미 구축 되어있다는 가정하에 시작한다)경로 API gateway - (자신이 만든 API) → 메서드 → 통합 응답Content-Type - application/json템플릿 생성저장 클릭
[AWS] ECS - Fargate (service)
경로 클러스터 → (cluster name)생성 클릭시작 유형 - FARGATE운영 체제 패밀리 - Linux작업 정의 - (Task Definition)플랫폼 버전 - LATEST클러스터 - (cluster name)서비스 - skills-svc작업 개수 - (ECS
[AWS] ECS-Fargate(Task Definition)
Task Definition 생성경로 ECS → Task Definition → now task Definition 생성 클릭FARGATE 선택 다음 단계테스크 정의 이름 - skills-td테스크 역할 - ecsTaskEXecutionRole운영 체제 패밀리 - Li
[AWS] ECS - EC2 (service)
경로 Cluster → (Cluster name) → 서비스 → 서비스 생성 클릭시작 유형 - EC2 패밀리 - skills-td개정 - (latest)클러스터 - (cluster name)서비스 이름 - skills-sv배포 유형 - 롤링 업데이트 배치 템플릿 - 호
[AWS] ECS - EC2(Task definitions)
container name - skills-containerImage - EcR에 push한 이미지Task definitions을 생성한 후 해당 IAM Role에 AmazonEC2ContainerRegistryFullAccess권한을추가해줍니다.
[AWS] REST API Gateway
1. Amazon API Gateway 생성 [경로] Amazon API → Amazon REST API Gateway 구축 프로토콜 선택 - REST 새 API 생성 - 새 API API 이름 - test-api 엔드포인트 유형 - 지역 [엔드포인트
[AWS] kinesis Data Firehose
kinesis Data Firehose 생성경로 Amazon Kinesis → 전송 스트림 → 전송 스트림 생성소스 - Amazon Kinesis Data Streams 대상 - Amazon S3 (목적지)Kinesis Data Stream - test-kinesis전
[AWS]Kinesis Put record IAM
Kinesis Put record 정책 생성경로 IAM → 정책 → 정책 생성서비스 - kinesis작업 - PutRecord , DescribeStream다음:태그 클릭태그키 - Name값 - wsi-ag-kinesis다음:태그이름 - wsi-ag-kinesis정책
[AWS] ECS-EC2방식(보안그룹)
inboundCustom TCP 2222 -> 0.0.0.0/0Custom TCP 8080 -> 0.0.0.0/0outboundAll Traffic -> 0.0.0.0/0inboundCostom TCP 32768 - 65535 -> 0.0.0.0/0outboundAll
[AWS] ECS static방식
iam 및 cluster까지는 동일 Task Definition와 보안 그룹만 다름Task Definition 생성시작 유형 호환성 선택 - EC2다음 단계 클릭테스크 정의 이름 - test-td테스크 역할 - ecsTaskExecutionRole네트워크 모드 - aw
[AWS] ECS-Fargateway (보안그룹)
inboundCustom TCP 2222 -> 0.0.0.0/0outboundAll Traffic -> 0.0.0.0/0inboundCostom TCP 8080 -> 0.0.0.0/0outboundAll Traffic -> 0.0.0.0/0inboundHTTP 80 -
Change to SSH Port Number
SSH를 재시작해줍니다.보안그룹에 변경한 Port Number을 추가해줍니다.SSH 접근시 -p option을 사용해 해당 서버로 접근해줍니다.ex) echo “port 8080” >> /etc/ssh/sshd_configSSH를 재시작해줍니다.