profile
(전)Backend Developer / (현)Data Engineer
post-thumbnail

[Google/BigQuery] 빅쿼리만의 특이한 문법 익히기

들어가며BigQuery ARRAYBigQuery STRUCTBigQuery UNNESTBigQuery는 SQL문법을 사용하고 있기 때문에, 많은 사람들이 처음에 쉽게 접할 수 있다그러나 자주보기 힘들 ARRAY, STRUCT, UNNEST를 만나면 많은 사람들이 어려워

4일 전
·
0개의 댓글
·
post-thumbnail

[Cloud] 하이브리드 클라우드 아키텍처 (Hybrid Cloud Architecture 란?

하이브리드 클라우드 아키텍처는 퍼블릭 클라우드와 온프레미스 완경의 두 가지 장점을 모두 제공함으로써 기업의 데이터 요구를 충족하는 데 특히 이상적입니다.그러나 하이브리드 환경의 완벽한 구축은 매우 중요하며, 그렇지 않은 경우 데이터 거버넌스 및 마이그레이션은 그 어느

5일 전
·
0개의 댓글
·
post-thumbnail

[Cloud] 클라우드 아키텍처 (Cloud Architecture) 란?

클라우드 아키텍처는 기술 구성 요소를 결합하여 클라우드를 구축하는 방법으로, 가상화 기술을 통해 리소스를 풀링하여 네트워크 전반에 공유합니다. 클라우드 아키텍처의 구성 요소는 다음과 같습니다.프론트엔드 플랫폼 (클라우드 액세스에 사용되는 클라이언트 또는 기기)백엔드 플

5일 전
·
0개의 댓글
·
post-thumbnail

[IT] OLAP 이란?

OLAP은 쉽게 다차원 분석으로 생각하면 된다.정의를 내리자면, 최종사용자가 직접 다차원으로 이루어진 데이터로부터 통계적인 요약 정보를 분석하여 의사결정에 활용하는 방식을 말한다.방ㄷ재한 양의 비즈니스 데이터를 분석에 용이하도록 구성하는 것을 지원하는 처리 방식OLAP

6일 전
·
0개의 댓글
·
post-thumbnail

[Google/BigQuery] 구글 빅쿼리 튜토리얼1

Cloud Shell 활성화 gcloud auth list - 활성 계정 이름을 나열 gcloud config list project - 프로젝트 ID를 나열 shakespeare (예시 테이블)의 스키마 검사 bq show bigquery-public-data:

6일 전
·
0개의 댓글
·
post-thumbnail

[DE] ETL과 ELT 비교, 5가지 주요 차이점

ETL은 데이터의 추출(Extract), 변환(Transform), 로드(Load) 프로세스를 가리킵니다.ELT는 데이터의 추출(Extract), 로드(Load), 변환(Transform) 프로세스를 가리킵니다.ETL에서 데이터는 데이터 소스에서 스테이징을 거쳐 데이터

2022년 7월 29일
·
0개의 댓글
·
post-thumbnail

[Server] 로컬서버, 개발서버, 스테이징서버, 운영서버 란?

로컬 서버(Local Server)는 개발자들이 처음으로 실행시키는 서버라고 할 수 잇다.흔히 말하는 http://local:8080 또는 https://localhost:8080 으로 접속하여 우리가 개발하는 화면들을 볼 수 있다.이 로컬 서버에서는

2022년 7월 29일
·
0개의 댓글
·
post-thumbnail

[DE]데이터 엔지니어는 무슨 일을 할까?

데이터 엔지니어의 업무를 위한 핵심 문장은 '데이터를 잘 가져오고, 잘 사용할 수 있게 정리한다' 입니다.조금 더 전문적인 단어를 인용하면 '데이터 파이프라인 시스템 아키텍처를 구축한다'라고 표현할 수 있습니다.그렇지만 이렇게 설명하면 막상 업무에 대해 이해햐기 쉽지

2022년 7월 28일
·
0개의 댓글
·
post-thumbnail

[DB/PostgreSQL] 예제로 PostgreSQL 기초문법 익히기

샘플데이터를 다운받아, psql로 Postgresql의 기초문법을 알아보자.dvdrental.tar 샘플데이터 다운로드데이터를 DB에 넣는 방법psql 사용pg_restore -U postgres -d test1 dvdrental.tardvdrental.tar 데이터

2022년 7월 27일
·
0개의 댓글
·
post-thumbnail

[OS/Linux] 리눅스를 사용하는 이유

리눅스는 컴퓨터 운영체제의 한 종류이자 커널 자체를 의미한다.리눅스 커널 자체가 유닉스의 미닉스(Minix)를 참고하여 개발 되었습니다.기족의 유닉스는 높은 하드웨어 스펙을 기반으로 복잡하고 큰 네크워크 시스템을 위해서 만들어진 운영체제였습니다.하지만 리눅스는 여기에서

2022년 7월 27일
·
0개의 댓글
·
post-thumbnail

[OS] 프로세스와 스레드의 차이

사전적 의미 어떤 작업을 위해 실행할 수 있는 파일 사전적 의미컴퓨터에서 연속적으로 실행되고 있는 컴퓨터 프로그램 메모리에 올라와 실행되고 있는 프로그램의 인스턴스(독립적 개체)운영체제로부터 시스템 자원을 할당받는 작업의 단위즉, 동적인 개념으로는 실행된 프로그램을

2022년 7월 14일
·
0개의 댓글
·
post-thumbnail

[DB/PostgreSQL] 관계형 DB시스템의 비교

데이터를 행(row)와 열(column)로 구성하는 관계형 데이터 모델은 DB관리 툴에 있어서 대체를 차지하고 있습니다.최근 NoSQL과 NewSQL을 포함한 다른 데이터 모델이 있지만 관계형 데이터 베이스 관리 시스템(RDBMS)은 데이터를 저장하고 관리하는 데 있어

2022년 7월 13일
·
0개의 댓글
·
post-thumbnail

[Google/BigQuery] 구글 빅쿼리 입문하기

빅쿼리는 페타 바이트급의 데이터 저장 및 분석용 클라우드 서비스이다.요즘은 페타바이트급의 Data Warehouse로 부르는데, 쉽게말해서 페타바이트급의 데이터를 저장해놓고, 쿼리를 통해서 조회나 통계 작업등을 할 수 있는 DB(?)이다.설치해서 사용하는 서비스가 아닌

2022년 7월 8일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 문자열 압축

https://programmers.co.kr/learn/courses/30/lessons/60057?language=python3쪼개야하는 문자 수만큼 for문을 돌려서 같은 문자열들을 압축시켜 나간다.복잡해질 것 같아서 함수로 만들어 구현하였다.

2022년 7월 6일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 튜플

https://programmers.co.kr/learn/courses/30/lessons/64065?language=python3문자열로 집합이 주어지므로, 문자열을 처리해주어야 한다.어떻게 처리해주어야 좋을지 생각을 많이했다.바깥의 괄호를 처리하고나면, '

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 등굣길

https://programmers.co.kr/learn/courses/30/lessons/42898?language=python3규칙을 찾아보자. 아래 혹은 오른쪽으로만 갈 수 있으므로,dpi 는 위쪽(dpi-1)과 왼쪽(dpi)에서 들어오는 경우를 합산한

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] N으로 표현

https://programmers.co.kr/learn/courses/30/lessons/42895?language=python3다이나믹 프로그래밍을 이용하는 줄 몰랐으면 어려웠을 것 같은 문제중복값을 처리하기에 용이한 집합(set)으로 저장공간을 만들어 준

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 정수 삼각형

https://programmers.co.kr/learn/courses/30/lessons/43105?language=python3DP를 이용하여 최대값을 나타내는 경로를 선택한 합을 출력하는 문제이다.triangle 배열을 거꾸로 뒤집은 다음, 한층씩 이동하

2022년 7월 4일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 여행경로 (DFS)

https://programmers.co.kr/learn/courses/30/lessons/43164?language=python3문제 풀이법을 떠올리는 데 정말 애를 먹었다.dfs로 풀 수 있을 것 같은데, 선뜻 풀이방법이 생각이 나지 않아서 다른 게시물을

2022년 7월 1일
·
0개의 댓글
·
post-thumbnail

[프로그래머스/Python] 네트워크

https://programmers.co.kr/learn/courses/30/lessons/43162?language=python3방문 여부(visited)로 재귀 수행가능여부 판단방문한 컴퓨터를 True로 처리하고, 다음 방문 기준을 잘 생각해야 함자기자신은

2022년 6월 30일
·
0개의 댓글
·