Snowpro Note.4

CHAN LIM·2024년 1월 26일
0

Snowflake

목록 보기
12/18
post-thumbnail

A Lateral View of a VARIANT 생성

FLATTEN


Directory Table

  • a implicit 객체
  • Database 객체와 분리되지 않음
  • 개념적으로 외부 테이블과 비슷하다.
    • 파일 레벨 메타데이터를 저장하기 때문에,
  • 자기 자신의 grantable privileges를 갖지 못한다.

BULK -> COPY INTO


Account usage view와 Information Table 비교

1.

AUV는 데이터 기한이 1년
IT는 7일에서 6개월

2.

AUV는 Drop된 객체도 포함
IT는 그렇지 않음


Micro-Partition 안에 저장된 모든 행에 관한 메타데이터?

  • 각 micro-partion 에 대한 값의 범위
  • 의 Distinct values의 수

COPY INTO 시, 부정적인 영향

PATTERN


자격이 없는 객체 이름을 쓰는 UDF에 대해

Snowflake는 오직 UDF가 속한 Schema만 체크한다.


Reader Account의 특징

  • Data Consumer에 접근하고 Provider가 공유한 데이터를 쿼리할 수 있다.
  • 해당 계정 사용자들은 새로운 데이터를 추가할 수 없다.

Search Optimization Service

equality Searches 성능 향상

지원하지 않는 객체 모음

  • External Table
  • Materialized View
  • Columns defined with a COLLATE clause.
  • Column concatenation
  • Analytical expressions
  • 테이블 열에 캐스트(현에 캐스팅된 고정 소수점 번호 제외).

Managed Access Schema

with data governance

스키마 소유자의 중앙 집중화된 권한 관리


저장 프로시저와 UDF 비교

저장 프로시저는 Database operations를 실행할 수 있다.
UDF는 불가능하다.


sub-clauses - OVER + window 함수

즉 Window 함수 문제

PARTITION BY, ORDER BY

<function> ([ <arguments> ]) OVER ([ PARTITION BY <expr1> ] [ ORDER BY <expr2> ])

VARIANT = 16mb individual rows


CREATE DATA EXCHANGE LISTING

  • Listing 속성 적용
  • 승인/퍼블리싱 Listing 제출

INFORMATION_SCHEMA 포함 객체

  • Database 안에 포함된 모든 객체에 대한 View
  • 계정에 대한 historical and usage date에 대한 테이블 함수

Query Profiler의 특징

쿼리 동작에 대한 주 구성요소의 그래픽적 표현을 제공한다.


만약 다중 위치 옵션 file format, 그 작동 순서


1. COPY INTO TABLE statement
2. Stage definition
3. Table definition


ALTER SHARE <name> ADD/REMOVE


외부 함수와 관련된 Query Profile

TOTAL INVOCATIONs


Roles


Namespace

  • Database
  • Schema

Resource Monitor can be modified

  • Credit Quota
  • Monitor Level
  • Schedule
  • Actions

Metadata columns for Staged file

  • METADATA$FILENAME
  • METADATA$FILE_ROW_NUMBER

스테이지에서 데이터 파일을 대량 로드하는 가장 빠른 방법

Load할 구체적인 파일의 리스트를 열거한다.


[CUSTOM] Role을 만드는 Role

USERADMIN, SECURITYADMIN


Micro-Partition

데이터는 연속된 저장소 유닛이며, 비압축으로 50 ~ 500 MB 사이이다.


TASK로 다중 SQL문 실행하기


다중 SQL문을 실행하는 저장 프로시저를 사용하고
TASK로 해당 프로시저를 호출한다.


마켓플레이스에서 데이터를 요청 및 받기 위한 Privilege

IMPORT SHARE


stream 생성 시, 추가할 수 있는 열

  • METADATA$ROW_ID
  • METADATA$ACTION
  • METADATA$ISUPDATE

Secure View는 누구에게 노출되는가?

Ownership을 가진 사용자


WAREHOUSE 문법

CREATE [ OR REPLACE ] WAREHOUSE [ IF NOT EXISTS ] <name>
[ [ WITH ] objectProperties ]
[ objectParams ]

Where:

objectProperties ::=
WAREHOUSE_SIZE = XSMALL | SMALL | MEDIUM | LARGE | XLARGE | XXLARGE | XXXLARGE | X4LARGE | X5LARGE | X6LARGE
MAX_CLUSTER_COUNT = <num>
MIN_CLUSTER_COUNT = <num>
SCALING_POLICY = STANDARD | ECONOMY
AUTO_SUSPEND = <num> | NULL
AUTO_RESUME = TRUE | FALSE
INITIALLY_SUSPENDED = TRUE | FALSE
RESOURCE_MONITOR = <monitor_name>
COMMENT = '<string_literal>'
ENABLE_QUERY_ACCELERATION = TRUE | FALSE
QUERY_ACCELERATION_MAX_SCALE_FACTOR = <num>

session 정책에서 최소 idle 타임아웃

15 분


System-defined role은 권한을 회수할 수 없다.


저장된 또는 지워진 사용하지 않은 데이터

Access history 가 허용한다.


COPY 명령어에서

FORCE = TRUE 와 LOAD_UNCERTAIN_FILES = TRUE의 차이

전자는 메타데이터가 유효하고 후자는 메타데이터가 만료된 상태이다.


저장 프로시저와 UDF

  • 단일 SQL문은 다중 UDF를 호출할 수 있다.
  • 단일 SQL문은 단일 저장 프로시저를 호출할 수 있다..

Data Exchange에게 데이터 요청 및 받기를 위한 권한

  • CREATE DATABASE
  • IMPORT SHARE

Materialized View

실체화된 뷰는 다른 테이블과 조인할 수 있다.
다만, 실체화된 뷰를 정의할 때, 조인할 수 없다.


TASK는 Execute, 저장 프로시저는 CALL


W.H의 크기를 줄이면...

현 상태에서 더이상 사용되지 않는 COMPUTE_RESOURCE는 제거된다.


Materialized View 크레딧 소비

  • 얼마나 원천 테이블이 변하는지.
  • 실체화된 뷰가 클러스터 키로 정의됬는지

Tag

Tag는 각 데이터 타입 당 오직 하나의 마스킹 정책을 가질 수 있다.


Directory Table 이 사용하는 URL Type

file URL

profile
클라우드, 데이터, DevOps 엔지니어 지향 || 글보단 사진 지향

0개의 댓글