AWS_SAA_준비(35)

AWS Snow 제품군

• 보안성이 뛰어난 휴대용 장치 모음
• 엣지에서 데이터를 수집하고 처리하기 위해 사용 or AWS 안팎으로 데이터를 마이그레이션 할 때 사용

Data Migrations with AWS Snow Family

• 네트워크를 통해서 많은 데이터를 전송하려면 아주 오래 걸림
• 빠르게 접속하려면 데이터의 양, 제한된 대역폭, 대역폭 공유, 네트워크 비용, 불안정한 연결 문제가 발생함
• 이를 해결하기위해 Snow 제품군을 사용
  • 데이터를 마이그레이션함
  • AWS가 우편으로 물리적 장치를 보내주면 거기에 데이터를 끌어오고 다시 AWS로 배송하는 것
  • 일반적으로 네트워크 사용시 데이터 전송이 일주일이 넘으면 Snowball 장치를 사용하는 것이 좋음
    

Snowball

• Snowball Edge는 TB 혹은 PB 데이터를 저장 가능
  • 데이터 전송 건마다 비용 청구
  • 인터페이스는 블록 스토리지 혹은 Amazon S3 호환 객체 스토리지 제공
  • Snowball Edge Storage Optimized는 80TB HDD 제공
  • Snowball Edge Compute Optimized는 42TB HDD 제공
  • 대량의 데이터 클라우드 마이그레이션이나 AWS에 데이터 백업을 통해 재해 복구하는 경우 사용

Snowcone

• snowball보다 크기 작음
• 이더넷 포트가 있어 어디서나 컴퓨팅이 가능
• 극악의 환경에서도 사용 가능
• 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용
• 8TB 저장 가능
• 드론 위에도 설치 가능!!
• 온/오프라인 전송 둘다 가능 ( 온라인은 AWS DataSync 사용 )

Snowmobile

• 진짜 트럭임
• EB 데이터 전송 가능
• 각 snowmobile 용랑은 100PB
• 보안성 뛰어나고 온도 조절 가능
• GPS 추적 및 비디오 감시로 안전한 데이터 전송 가능
  

Edge Computing

• 데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식
• 엣지 로케이션
  • 인터넷이 없는 곳이나, 클라우드에서 멀리 있는 곳
• Snowball Edge나 Snowcone을 주문해서 엣지 로케이션에 장착시키면 엣지 컴퓨팅 가능
• 데이터 전처리, 클라우드로 보내지 않고 엣지에서 머신 러닝, 사전 미디어 스트림 트랜스코딩 등에 엣지 컴퓨팅 사용

AWS OpsHub

• 컴퓨터나 노트북에 설치하는 소프트웨어
• 그래픽 인터페이스를 통해 snow 장치에 연결해서 구성 및 사용 가능

Snowball을 통해 데이터를 직접 Glacier에 불러올 수 있는지?

• snowball은 Glacier에 데이터를 직접 끌어올 수 없음
• 단, Amazon S3를 먼저 사용하여 수명주기 정책 생성을 통해 Amazon Glacier로 객체를 전환할 수 있음
  

Amazon FSx

• 완전 관리형 서비스로 타사의 고성능 파일 시스템을 실행시킴
• 제공하는 파일 시스템 종류
• FSx File System Deployment OPtions
  • Scratch File System
    • 임시 스토리지
    • 데이터 복제가 안됨
    • 오작동하면 파일이 모두 날라감
    • 최적화로 초과 버스트 가능 ( 200MBps per Tib )
    • 단기 처리 데이터에 사용
    • 데이터 복제가 없어 비용 최적화 가능
  • Persistent(영구) File System
    - 장기 스토리지
    - 동일한 AZ 내에서 복제 가능
    - 민감한 데이터에 적합
    

FSx for Windows File Server

• 완전 관리형 Windows 파일 서버 공유 드라이브
• SMB 프로토콜과 Windows NTFS 지원
• Microsoft Active Directory 통합을 지원
  • 사용자 보안 추가, ACL로 사용자 할당량 추가로 액세스 제어 가능
• Linux EC2 인스턴스에도 마운트 가능
• DFS 기능을 사용하여 파일 시스템 그룹화 가능 ( 온프레미스의 Windows 파일 서버와 FSx for Windows File Server 결합 가능 )
• Scale up to 10s of GB/s, millions of IOPS, 100s PB of data
• Storage Options
  • SSD : 지연 시간이 짧아야하는 워크로드 저장
    • 데이터베이스, 미디어 처리 데이터 분석 등
  • HDD : 넓은 스펙트럼의 워크로드 저장
    • 홈 디렉터리나 CMS 등
• 프라이빗 연결로 온프레미스 인프라에서 액세스 가능
• 고가용성 다중 AZ에 대해 구성 가능
• 모든 데이터는 재해 복구 목적으로 S3에 매일 백업

FSx for Lustre

• 동영상 처리, 금융 모델링, 전자 설계 자동화 등의 애플리케이션에서 쓰임
• 확장성이 높음
• Scales up to 100s GB/s, millions of IOPS, sub-ms latencies
• Storage Options
  • SSD : 지연 시간이 짧아야하는 워크로드
  • IOPS : 크기가 작은 무작위 파일 작업
  • HHD : 처리량이 많거나 크기가 큰 시퀀스 파일 작업
• S3와 무결성 통합 가능
  • 파일 시스템처럼 S3를 읽고 S3에 출력하는 것이 가능
• VPN과 직접 연결을 통해 온프레미스 서버에 사용 가능

FSx for NetApp ONTAP

• NFS, SMB, iSCSI 프로토콜과 호환
• 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음
• Linux, Windows, MacOS, VMware Cloud on AWS, Amazon Workspaces & AppStream 2.0, Amazon EC2, ECS and EKS 에서 사용 가능 = 호환 가능한 폭이 넓다
• 스토리지는 자동으로 확장 및 축소 = 오토 스케일링
• 복제오 스냅샷 기능 지원
• 데이터 압축 및 데이터 중복제거 가능
• 지정 시간 복제 기능이 있음
• 비용 저렴

FSx for OPenZFS

• 여러 버전에서의 NFS 프로토콜과 호환 가능
• 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
• Linux, MacOS, Windows 등에서 사용 가능
• Up to 1,000,000 IOPS with < 0.5ms latency
• 스냅샷, 압축 지원, 지정 시간 동시 복제 기능 지원
• 비용 저렴

AWS Storage Cloud Native Option

AWS Storage Gateway

• 온프레미스 데이터와 클라우드 데이터간의 연결 역할

• 사용 예시

  • 재해 복구
  • 백업 및 복구
  • 클라우드 마이그레이션, 온프레미스에서 클라우드 간 스토리지 확장
  • 데이터 대부분을 AWS에 저장하고 파일 액세스 지연 시간을 줄이기위해 Storage Gateway를 온프레미스 캐시로 사용

• Types of Storage Gateway

  • S3 File Gateway
    

    • 모든 버킷을 NFS 및 SMB 프로토콜을 사용하여 액세스 가능
    • 사용된 데이터는 파일 게이트웨이에 캐시로 저장됨 ( 최근 사용된 파일만 파일 게이트웨이에 존재 )
    • S3 Standard, S3 Standard IA, S3 One Zone A, S3 Intellignet Tiering 지원
    • 생명 주기 정책 사용시 S3 Glacier로 이동 가능
    • 버킷에 액세스하기 위해 각 파일 게이트웨이마다 IAM Role 생성 필요
    • SMB 프로토콜 사용하는 경우 사용자 인증을 위해 Active Directory와 통합해야함

  • FSx File Gateway

    

    • Amazon FSx for Windows File Server에 네이티브 액세스 제공
    • 자주 액세스하는 데이터의 로컬 캐시 확보 가능
    • Window native와 호환 ( SMB, NTFS, Active Directory.. )
    • 그룹 파일 공유나 온프레미스를 연결할 홈 디렉토리로 사용 가능

  • Volume Gateway

    

    • 블록 스토리지로 Amazon S3가 백업하는 iSCSI 프로토콜 사용
    • 볼륨이 EBS 스냅샷으로 저장되어 온프레미스 볼륨 복구 가능
      • Cached volumes : 데이터 액세스 시 지연 시간이 낮음
      • Stored volumes : 전체 데이터 세트가 온프레미스에 있어 주기적으로 S3 백업이 있음

  • Tape Gateway

    

    • 물리적으로 테이프를 사용하는 백업 시스템이 있는 회사가 클라우드를 활용해 데이터를 백업할 수 있게 해줌
    • 가상 테이프 라이브러리(VTL)는 S3와 Glacier을 이용
    • 테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업

• Hardward appliance

  • 온프레미스 서버가 없는 경우 사용
  • 미니 서버 역할을 함
  • 가상화가 없는 경우 유용

AWS Transfer Family

• FTP 프로토콜 전송 지원
• FTPS ( FTP의 암호화된 형태 ) SSL을 통한 파일 전송 프로토콜 지원
• SFTP 보안 파일 전송 프로토콜 지원
• 완전 관리형 인프라이며 확장성, 안정성이 높고 가용성도 높음
• 시간당 프로비전이된 엔드 포인트 비용 + 전송된 데이터의 GB당 요금 청구
• 서비스 내에서 사용자 자격 증명을 저장 및 관리 가능
• 기존의 외부 인증 시스템과 통합 가능 ( Microsoft Actie Directory, LDAP, Okta, Amazon Cognito, custom )
• 사용 사례
  • 파일 공유, 공개 데이터셋 공유, CRM, ERP 등
    

AWS DataSync

• 데이터를 동기화하여 대용량 데이터를 옮길 수 있음
  • 온프레미스나 AWS의 다른 클라우드로 옮길 수 있음
  • 이때 서버를 NFS, SMB HDFS 또는 다른 프로토콜에 연결해야함
  • 옮길 위치인 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야함
  • AWS의 서비스에서 다른 AWS 서비스로 데이터를 옮기는 등, 다른 유형의 마이그레이션도 가능
  • 복제 작업은 매 시간, 매일 혹은 매주 실행되도록 가능
  • 파일 권한과 메타데이터 저장 기능이 있음 ( NFS POSIX, SMB )
  • 에이전트 하나의 태스크가 초당 10Gb까지 사용 가능
  • 네트워크 대역폭에 제한을 걸 수 있음
  • AWS Snowcone 사용을 통해 네트워크 용량 해결 가능

DataSync 동기화 가능 목록

• Amazon S3 ( any storage classes - including Glacier )
• Amazon EFS
• Amazon FSx ( All OS )

AWS Storage Comparsion

• S3 : 객체 스토리지, 대부분의 AWS와 연결 가능
• S3 Glacier : 객체를 아카이브할 때 사용
• EBS volumes : 한 번에 한 개의 EC2 인스턴스에만 스토리지 연결할 때 사용, IO1과 IO2 볼륨에 다중 연결 기능 지원
• Instance STorage : 고성능 물리 스토리지가 필요한 경우 사용 ( high IOPS )
• EFS : 네트워크 파일 시스템이 필요하며 다중 가용 영역 간 마운트해야 하면서 POSIX 파일 시스템이 필요할 때 사용
• FSx for Windows : Windows 서버 파일 시스템이 필요한 경우
• FSx for Lustre : 고성능 연산 Linux 파일 시스템이며 Lustre 클라이언트와 호환 가능해야 하는 경우 사용
• FSx NetApp ONTAP : 높은 운영 체제 호환성과 네트워크 파일 시스템이 필요할 때 사용
• FSx for OpenZFS : 관리형 ZFS 파일 시스템이 필요한 경우 사용
• Storage Gateway : S3, FSx File Gateway, Volume Gateway ( cache & stored ), Tape Gateway 를 활용하여 온프레미스 및 클라우드, S3, FSx에 파일 동기화 가능
• Transfer Family : FTP, FTPS, SFTP 인터페이스를 필요로 하는 경우 사용
• DataSync : 온프레미스에서 AWS, AWS에서 AWS로 일정에 따라 데이터 동기화할 때 사용,
• Snowcone / Snowball / Snowmobile : 물리적으로 대용량의 데이터를 옮겨야 할 때 사용, 온프레미스 설치 후 클라우드로 옮길 수 있음
• Database