Storage Gateway
AWS에서는 하이브리드 클라우드를 권장하는데 이는 일부 인프라는 AWS 클라우드에 있고 나머지는 그대로 온프레미스에 두는 방식을 뜻합니다.
예를 들어 S3 데이터를 온프레미스에 두려면 S3와 온프레미스 인프라를 이어주는 가교의 역할인 AWS Storage Gateway를 사용해야 합니다.
위의 클라우드 저장소도 마찬가지로 Gateway를 사용해야하죠.
AWS Storage Gateway
- 온프레미스 데이터와 클라우드 데이터 간 연결
사용 사례:
- 재해 복구
- 백업 및 복원
- 계층형 스토리지
- 온프레미스 캐시 및 대기 시간이 짧은 파일 액세스
Storage Gateway 유형:
- S3 파일 게이트웨이
- FSx 파일 게이트웨이
- 볼륨 게이트웨이
- 테이프 게이트웨이
File Gateway
- NFS와 SMB 프로토콜을 사용하여 액세스 가능하도록 S3 버킷을 구성하는 게이트웨이
- 해당 프로토콜 들을 HTTPS 요청으로 변환시켜 버킷으로 보냄
- S3 표준, S3 IA, 또한 S3 One Zone IA 등의 스토리지 클래스 유형을 지원합니다.
- 객체를 아카이브하고자 하는 경우, S3 버킷에 수명 주기 정책을 생성하여 Glacier로 옮겨야함.
- 버킷에 엑세스하려면 각 파일 게이트웨이마다 IAM역할을 생성해야하는데, IAM Windows 파일 시스템 네이티브인 SMB 프로토콜을 사용하는 경우에는사용자 인증을 위해 Active Directory와 통합해야 합니다.
- 가장 최근에 사용된 데이터는 파일 게이트웨이에 캐시됩니다.
Amazon FSx File Gateway
- FSx for Windows File Server가 Amazon FSx 파일 시스템에 배포되어 있고 SMB 클라이언트에 액세스 할 때 데이터의 로컬 캐시를 확보하기 위해사용
- 중요한 파일의 로컬 캐시가 회사 데이터 센터에 쌓음으로, 액세스 시 지연 시간을 단축
- 파일 게이트웨이에서 Windows 네이티브인 SMB, NTFS, Active Directory가 호환 가능
- 그룹 파일 공유나 온프레미스를 연결할 홈 디렉터리로 사용할 수 있습니다
Volume Gateway
-
S3의 iSCSI 프로토콜을 사용하는
블록 스토리지 게이트웨이입니다. -
EBS 스냅샷으로 백업되는 볼륨을 가지게 되는데,
필요한 경우 온프레미스 볼륨을 복구하는 데 도움을 줍니다. -
종류:
- Cached Volumes: 최근 데이터의 액세스 지연 시간을 줄일 수 있습니다.
- Stored Volumes: 전체 데이터셋이 온프레미스에서 제공됩니다.
-
전체 데이터 세트가 온프레미스에 있으며 주기적 Amazon S3 백업이 따릅니다
Tape Gateway
-
회사가 물리적 테이프를 써서 테이프 백업 시스템을 사용한다고 하면,
테이프 게이트웨이를 사용하더라도 그 과정은 똑같고, 대신 테이프가 클라우드에 백업됩니다. -
가상 테이프 라이브러리인 VTL
- Amazon S3와 Glacier로 지원되며 기존 데이터를 백업할 때 테이프 기반 프로세스 및 iSCSI 인터페이스를 사용합니다.
- 백업 소프트웨어 판매 업체와 협업하기도 합니다
Hardware appliance
- 게이트웨이는 여러분의 회사 데이터 센터에 설치되어 있어야 하는데, 가상 서버가 없는 경우AWS의 하드웨어인 Storage Gateway 하드웨어 어플라이언스를 사용합니다.
- 물리적으로 설치해야하고, 제대로 작동하려면 충분한 CPU, 메모리 네트워크, 그리고 SSD 캐시 리소스가 필요합니다.
AWS Transfer Family(전송 제품군)
Amazon S3 또는 EFS의 안팎으로 데이터를 전송하려고 하는데
대신 S3 APIs와 EFS 네트워크 파일 시스템도 사용하지 않고 FTP 프로토콜만 사용하려는 경우에 AWS 전송 제품군을 사용합니다.
AWS Transfer for FTP (파일 전송 프로토콜)
AWS Transfer for FTPS (파일 전송 프로토콜 오버 SSL)
AWS Transfer for SFTP (보안 파일 전송 프로토콜)
- FTP는 암호화되지 않는 반면에, FTPS와 SFTP는 전송 중에 암호화되는 특징이 있습니다.
- 완전 관리형입니다
- 확장성, 안정성이 뛰어납니다.
- 가용성이 높습니다.
가격 책정
- 시간당 프로비저닝된 엔드 포인트 비용에 전송 제품군 안팎으로 전송된 데이터의 GB당 요금을 더합니다.
- 서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있습니다. 기존의 인증 시스템과 통합할 수도 있습니다.
- Microsoft Active Directory 또는 LDAP Okta, Amazon Cognito 또는 사용자 지정 소스입니다.
사용예 :
- 파일 공유 및 공개 데이터셋 공유
- CRM, ERP
AWS DataSync
AWS DataSync는 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화하는 안전한 온라인 서비스입니다.
- 대용량 데이터 이동
- 온프레미스/다른 클라우드에서 AWS로(NFS, SMB, HDFS, S3 API...) – 에이전트 필요
- AWS에서 AWS로(다른 스토리지 서비스) – 에이전트 필요 없음
- 동기화
- Amazon S3(Glacier를 포함한 모든 스토리지 클래스)
- Amazon EFS
- Amazon FSx(Windows, Lustre, NetApp, OpenZFS...)
- 매시간, 매일, 매주 복제 작업 예약 가능(지연이 발생하긴함)
- 파일 권한 및 메타데이터가 보존됩니다(NFS POSIX, SMB...).
- 하나의 에이전트 작업이 10Gbps를 사용할 수 있고 대역폭 제한을 설정할 수 있습니다.
DataSync NFS / SMB to AWS(S3, EFS, FSx...)
SMB 혹은 NFS 프로토콜을 사용하는 온프레미스 파일을 AWS로 동기화 하려할 때, DataSync를 사용할 수 있습니다.
온프레미스에 AWS DataSync 에이전트를 설치하고 NFS 또는 SMB 서버에 연결시킨뒤, 에이전트를 통한 암호화를 거쳐 DataSync 서비스에 연결하면 스토리지 클래스나 AWS EFS 혹은 Amazon FSx 등 어느 위치든 통신이 가능합니다.
동기화는 단방향/양방향 모두 지원하며, 네트워크 용량이 따라 주지 못하는 경우에는 AWS Snowcone 장치를 이용할 수 있습니다.
사실 AWS Snowcone에는 DataSync 에이전트가 사전에 설치되어 있는데, 온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 다시 에이전트가 AWS 리전으로 전송되면서 AWS의 스토리지 리소스 외부에 데이터를 동기화할 수 있습니다
DataSync Transfer between AWS storage service
DataSync를 통해 서로 다른 AWS 스토리지 서비스 간 동기화도 가능한데, mazon S3, Amazon EFS 또는 Amazon FSx를 Amazon S3, Amazon EFS Amazon FSx로 다시 동기화하려는 경우에 AWS DataSync 서비스를 사용하여 데이터 복사본을 만듭니다.
서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지됩니다.
모든 스토리지 비교
S3
- 객체 스토리지
Glacier
- 객체 아카이브
EBS voloumes
- 한번에 한 개의 EC2 인스턴스에만 스토리지를 연결할 때 사용
- IO1과 IO2 볼륨 다중 연결 기능 지원
- GP3볼륨, IO2볼륨 등이 있음.
Instance Storage
- IOPS가 높은 EC2인스턴스에 네트워크 스토리지가 아닌 고성능 물리 스토리지를 필요로 하는 경우, EC2 Instance 스토리지를 사용해야합니다.
- 하드웨어에 연결되어 있기 때문에 EBS보다 훨씬 높은 IOPS를 가지게 됩니다.
- 수백만 IOPS도 가능합니다.
- EC2 인스턴스가 중단되면 해당 스토리지가 영구적으로 손실될 위험이 있습니다.
EFS
- Linux 인스턴스용의 네트워크 파일 시스템입니다, POSIX 파일 시스템
- 인스턴스가 네트워크 파일 시스템을 필요로 하며 다중 가용 영역 간 마운트해야 하며 POSIX 파일 시스템을 써야할 때 사용
FSx for Windows
- Windows server 네트워크 파일 시스템
FSx for Lustre
- Linux와 클러스터로 고성능 컴퓨팅이 가능한 Linux 파일 시스템입니다.
- 여기에서 HPC가 실행됩니다.
- 상상 이상으로 IOPS가 높고 용량도 엄청납니다.
FSx for NetApp ONTAP
- 높은 운영체제 호환성과 네트워크 파일 시스템이 필요할 때 사용
FSx for OpenZFS
- 관리형 ZFS파일 시스템이 필요할 때 사용
Storage Gateway
- 온프레미스에서 AWS로 파일을 전송합니다.
- (S3, FSx)File Gateway, 캐시 및 저장을 위한 Volume Gateway 또 Tape Gateway가 있습니다.
Transfer Family
- FTP, FTPS SFTP 인터페이스를 필요로 하는 경우 AWS Transfer Family를 사용
DataSync
- 일정에 따라 데이터를 동기화할 때는 DataSync를 사용
- Snowcone에 기본적으로 설치
Snowcone / Snowball / Snowmobile
- 대용량 데이터를 S3의 클라우드로 물리적으로 옮깁니다.
- 데이터를 옮기는 데 쓸 네트워크 용량이 없으나 물리적으로 대용량의 데이터를 옮겨야 할 때는 Snowcone, Snowball 또는 Snowmobile 장치를 주문해서
온프레미스에 설치한 다음 클라우드로 옮겨야 함.Database
데이터를 저장하는 방법입니다
정한 워크로드에 사용되는데 일반적으로 인덱싱 및 쿼리와 함께 사용됩니다.
