# EFS

EKS 위에 Airflow v2.5.3 Helm 배포하기
개요 EKS 클러스터 위에서 helm chart apache-airflow/airflow v1.9.0으로 airflow v2.5.3를 간단히 배포해보자. (굳이 EKS가 아니어도 큰 틀은 같음.) 구체적인 구현 내용은 아래와 같다. Service는 aws-alb-ingress-controller로 LoadBalancer 타입을 사용. dags 폴더는...
AWS - EFS
EFS 검색 또는 서비스 메뉴 - 스토리지 - EFS 클릭보안 그룹 생성 클릭설명 / VPC 체크하기 (보안그룹은 VPC에 귀속)제한된 리소스(NFS를 웹서버 보안그룹)로 한정하여 규칙 생성 후 보안 그룹 생성 클릭파일 시스템 생성 클릭이름 & VPC 입력후 사용자 지

EFS(Elastic File System)
보안 그룹 nfsefs 생성하면서 보안 그룹 nfs를 연결EC2를 리눅스로 2개 생성 후 efs를 연결하기 위해 ec2터미널 들어가서...efs에서 연결 가이드 대로 ec2 터미널에 입력테스트1) 1개의 인스턴스에 파일 생성2) 또 다른 인스턴스에 생성 되었는지 확인삭
2023.04.12 Cloud Computing 5
sudo mount -t nfs4 -o nfsvers=4.1,rsize=1048576,wsize=1048576,hard,timeo=600,retrans=2,noresvport fs-0f43337d9fff133ab.efs.ap-northeast-2.amazonaws.co
AWS - Storage Service
데이터 스토리지를 서비스로서 관리하고 운영하는 클라우드 컴퓨팅 공급자를 통해 데이터를 인터넷에 저장하는 클라우드 컴퓨팅 모델JIT(Just-In-Time) 용량 및 비용이 온디맨드로 제공되며 자체 데이터 스토리지 인프라를 구매하거나 관리할 필요 ❌'언제 어디서든' 데이

Network & Storage
📌 목표 이번주는 VPC CNI를 사용한 쿠버네티스 클러스터 구성을 지난번과 마찬가지로 kops 를 통해 AWS 환경에 구성하게 된다. POD간 통신을 패킷덤프를 통해 확인하게 되며, VPC CNI에서 파드 생성 개수의 제한도 확인하게 된다. AWS EBS를 통해 P

AWS 이해하기 - 데이터베이스 기초편
Elastic File System(EFS) 리눅스 환경의 EC2 인스턴스에서 연결하기 위한 네트워크 파일 스토리지 기본적으로 3개의 AZ에 데이터를 저장한다. Network File System(NFS) 프로토콜을 지원 여러개의 EFS를 연결할 수 있으며 여러개의

[AWS] EFS
참고 영상Elastic File System의 약자로 AWS 클라우드 서비스와 온 프레미스 리소스에서 사용할 수 있는 완전 관리형 NFS 파일 시스템을 제공합니다.EFS 사용 이유공유된 스토리지가 필요할때세션 같이 저장소스코드 자동 저장NFS 기반 공유 스토리지 서비스
AWS 파일 공유 시스템 , Storage Gateway
파일이 수정되어 EC2가 수정된 파일을 모두 반영하거나 , 하나의 EC2가 파일에 쓰기 작업을 했을 때 일관성을 유지하기 위해서는 다른 EC2도 해당 쓰기 작업을 반영해야한다. 변경사항을 일일이 각 EC2마다 접속해서 읽기/쓰기 작업을 한다면 비효율적일 것이다.

AWS 스터디1
클라우드 컴퓨팅 클라우드 컴퓨팅(Cloud Computing) 클라우드 컴퓨팅이란, 인터넷이라는 통신 서비스를 활용한 컴퓨팅 서비스 종류의 하나로 개인용 컴퓨터가 아닌, 인터넷을 통해 연결된 원격 컴퓨터를 활용하는 기술을 말합니다. 쉽게 말해 '개인용 컴퓨터보다 성능이 뛰어난 컴퓨터나 저장장치 등의 컴퓨터 자원을 다른 곳에서 빌려 사용할 수 있도록 처리해주...

AWS lambda로 EFS에 파일 업로드
API Gateway로 form-data를 받고 Lamba를 통해 EFS에 이미지 파일(jpg) 업로드하기

[Monitoring] AWS kubernetes에 prometheus 배포 2 - EFS 생성, EFS CSI Driver 설치, CSI Driver를 사용한 persistent volume 생성
Prometheus 를 AWS k8s cluster 환경에 배포한다.첫 번재 포스팅에서는 EFS를 사용하기 위해 IAM 권한 설정 및 사전작업을 해주었다. 이번 포트싱에서는 EFS 생성부터 pv, pvc 생성까지 다룬다.EFS Mount는 DNS를 사용하기 때문에 위치

[Monitoring] AWS kubernetes에 prometheus 배포 1 - EFS CSI Driver IAM 권한 설정
GOAL > Prometheus 를 AWS k8s cluster 환경에 배포한다. > 이번 포스팅에서는 첫 단계인 EFS(Elastic File System)를 EC2와 Mount한다. 또한, EFS CSI Driver를 사용하기 위해 IAM 권한 설정을 해준다.
Amazon EBS와 Amazon EFS의 차이점
AWS EFS(Elastic file system)와 AWS EBS(Elastic block storage)는 Amazon Web Services에서 제공하는 두 가지 유형의 스토리지 서비스입니다. 이 문서에서는 Amazon EFS와 Amazon EBS의 몇 가지 주요

[Linux] rsync 와 EFS(NFS)를 이용한 로그 백업
rsync와 EFS(AWS Network File System)을 이용하여 log를 backup하는 방법을 알아보고 실습한다.

[Terraform] EFS 파일 시스템 생성 및 인스턴스에 마운트
AWS 콘솔을 이용해 테라폼 생성: EFS 파일 시스템, 인스턴스를 생성하고 인스턴스에 파일 시스템을 마운트하는 과정을 테라폼을 이용해 자동화 해봅시다.VPC와 서브넷, 인터넷 게이트웨이, 라우팅 테이블을 생성하고, 라우팅 테이블과 서브넷을 연결, 네트워크 인터페이스와