Snowpro Note.3

CHAN LIM·2024년 1월 25일
0

Snowflake

목록 보기
11/18
post-thumbnail

비용 관련


GET_STAGE_LOCATION

Directory Table의 URL을 포함하여 Stage의 위치를 return


Time Travel retention period

table, schema, Database


The ways of Query History Data

  • By Timestamp
  • By Offset
  • By Query statement ID

Privilege for Snowflake Marketplace

IMPORT SHARE or accountadmin role


metadata for staged file

  • METADATA$FILENAME
  • METADATA$FILE_ROW_ID

SHOW GRANT TO ...

ROLE

해당 Role에 승인된 권한들을 출력

USER

해당 사용자에게 할당된 Role 출력


ACCESS_HISTORY view enhance overall data governance

어떤 데이터가 접근했는지언제 접근했는지에 대한 통합된 그림 제공

  • 어떻게 접근한 데이터를 이동시켰는지

Privileges for Creating Task

Target Schema에 접근하는 역할과 TASK를 생성하는 권한


VALIDATION_MODE

VALIDATION_MODE = RETURN_n_ROWS | RETURN_ERRORS | RETURN_ALL_ERRORS


Subquery

Uncorrelated scalar

  • in any place

Correlated scalar

  • WHERE clauses

EXISTS, ANY | ALLIN subqueries in WHERE clauses

  • Both

Privileges to restore an object

OWNERSHIP, CREATE


COPY INTO metadata expire

64 days


Additional Columns for Creating stream

METADATA$ACTION

METADATA$ISUPDATE

METADATA$ROW_ID


Snowpark 이점

  • Snowflake 바깥에서 별도의 클러스터를 요구하지 않는다.
  • UDF을 포함하여, 가능한한 많은 Pushdown을 지원합니다.
  • 성능이나 기능을 저하시키지 않으면서 다른 언어에 맞게 구축된 라이브러리와 패턴을 사용하여 Snowflake 내에서 데이터와 상호 작용할 수 있도록 지원

VPS와 Business Critical Edition의 차이

a dedicated metadata store 제공 In VPS

완전히 분리된 Snowflake 환경을 제공한다. In VPS


Warehouse의 Size를 줄인다면?

현재 명령문에서 더이상 사용되지 않는 상태일 때, Compute Resouce는 제거된다.


Materialized View의 Credit 소비

  • 기반 테이블의 변화 빈도
  • 실체화된 뷰가 클러스터 키를 가지는지 아닌지

Data Exchange의 소비자가 요청을 하고 데이터를 수신하려면 어떤 권한이 필요합니까?

  • IMPORT SHARE
  • CREATE DATABASE

즉, ACCOUNTADMIN role


Partition By option in COPY INTO

PARTITION BY copy option는 unload 작업 파티션이 테이블 행을 지정된 단계로 언로드된 개별 파일로 분할하는 식을 받아들입니다.


How to remove Clustering key?

ALTER TABLE DROP CLUSTERING KEY

Secure View를 사용할 때 고려할 점

  • 쿼리 프로파일러에서 쿼리 실행 계획에 대한 세부 정보를 사용할 수 없습니다.
    • The internals of a secure view are not exposed in Query Profile (in the web interface).
  • Secure view는 Standard view와 같은 최적화 이점을 취할 수 없습니다.

Marketplace data

이미 formatted, Query에 준비된, 비즈니스 니즈에 따른 개인화 가능


Semi-structure (like JSON) To Snowflake

성능 좋은 가지치기 (Pruning)과 저장소 소비 최소화를 위해
반정형 데이터를 Flattening 평문화한다.


VPS는 Marketplace를 이용하지 못한다.


Micro-Partitioning 이점

  • 객체 저장소에서 가상 웨어하우스로에 I/O를 줄여준다.
  • 불변의 객체이므로, Time-Travel를 지원하게 한다.

가상 웨어하우스의 Credit 사용을 제한하는 기능

Resource Monitor


RESOURCE_MONITORS view는

READER_ACCOUNT_USAGE 에 존재한다.


외부 스테이지로부터 Loading 시 가장 효율적인 방법

Logical Paths로 파일을 조직한다.


WAIT_FOR_COMPLETION = TRUE

Do Not Return from the Command until the warehouse has finished changing its size.


언제 더이상 Result Set Cache 사용할 수 없는가?

마지막 쿼리 실행 후 24시간 이후

원천 데이터가 변한 후


Result Set Cache의 영향을 예방하는 법

SELECT LIST 쿼리로 부터 Column을 삭제한다.


JSON -> Variant field

PARSE_JSON


Stage로 Unloading 시,

개별 File_Format을 정의하는 것을 추천한다.


profile
클라우드, 데이터, DevOps 엔지니어 지향 || 글보단 사진 지향

0개의 댓글