- 전체보기(93)
- aws(25)
- python(18)
- spark(16)
- kubernetes(16)
- Naver Cloud Platform(15)
- 네이버 클라우드 플랫폼(15)
- 쿠버네티스(12)
- lambda(8)
- docker(8)
- EMR(7)
- NKS(6)
- GCP(6)
- emr on eks(5)
- eks(5)
- ec2(4)
- Database(3)
- linux(3)
- 자격증(3)
- Google Cloud Platform(3)
- Delta Lake(3)
- airflow(3)
- Lambda url(3)
- helm(2)
- AWS CDK(2)
- shell script(2)
- medium(2)
- GLUE(2)
- Trino(2)
- ubuntu(2)
- 데이터분석(2)
- vpc(2)
- step functions(1)
- error(1)
- ssh(1)
- PostgresSQL(1)
- gcs(1)
- polars(1)
- Optuna(1)
- SQLAlchemy(1)
- mysql(1)
- CloudTrail(1)
- microk8s(1)
- 2023(1)
- data(1)
- kafka(1)
- github(1)
- DCA(1)
- furiko(1)
- pyspark(1)
- Cloud SQL(1)
- Naver Cloud Platofrm(1)
- 데이터시각화(1)
- pandas(1)
- devops(1)
- ncp(1)
- computeengine(1)
- Severless(1)
- 도커(1)
- lake formation(1)
- dockerfile(1)
- Grafana Loki(1)
- 회고(1)
- BigQuery(1)
- sql(1)
- ORM(1)
- scala(1)
- assume role(1)
- DNS(1)
- NAS(1)
- GitLab(1)
- IAM(1)
- dataset(1)
- serverless(1)
- SQS(1)
- MLflow(1)
- dataclass(1)
- route53(1)
- quicksight(1)
- dotenv(1)
- Spark Streaming(1)
- hive(1)
🌊 Delta Lake 입문자를 위한 가이드 - 실전편(Part 2. delta-spark 라이브러리 활용)
🌊 Delta Lake 입문자를 위한 가이드 실전편! Part2! delta-spark 라이브러리 사용법 총 정리!!
📊 200+ 데이터 엔지니어 인터뷰에서 발견한 최상위 1%의 비결
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.)🔥 최상위 데이터 엔지니어들의 공통점이들은 데이터를 단순한 값이 아니라, 흐름(flow) 으로 봅니다.분산 시스템(HDFS, S3), 배치 vs. 스트림 처리 차이를 직관적으로 이해함.저장 포맷
🌊 Delta Lake 입문자를 위한 가이드 - 이론편
0. Delta Lake란 무엇인가? 1. Delta Lake가 등장한 배경 2. Delta Lake의 핵심 설계 원리 3. Delta Lake의 핵심 기능 4. 기존 DL&DW 와의 비교
❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕
(해당 글은 아래 명시한 출처의 글을 한글로 각색 및 요약한 내용입니다.) ❗데이터 엔지니어링의 현실, 화려함 뒤에 숨겨진 10가지 뼈 때리는 진실🤕 대용량 데이터, 최첨단 기술, 실시간 분석, 멋진 대시보드…... 데이터 엔지니어링에 대한 이야기는 늘 화려하죠.
"notion-database" Python 라이브러리로 Notion Database 다뤄보기!
notion-database 라이브러리를 활용하여 노션의 데이터베이스를 python으로 자유자재로 다뤄봅시다!
Docker Network들에 대해 실습과 함께 알아보자!(Bridge, Host, None)
Docker의 Bridge, Host, None 네트워크에 대하여 알아보고 실습까지 진행해봅시다!
[Airflow] Docker-Compose Airflow 시스템에 외부 패키지 추가하기!
Docker Compose로 구축된 Airflow 시스템에 외부 패키지 추가 설치하기!
[Spark] Spark로 Google Cloud Storage 데이터 읽어오기!
0. INTRO 대규모 데이터를 클라우드 객체 저장소에 보관한 뒤 Spark를 활용해 분석하는 방식은 이제 데이터 분석의 대표적인 사례로 자리 잡았습니다. 특히, 클라우드 서비스 환경에서는 Spark와 객체 저장소 간의 통합이 이미 기본적으로 설정된 경우가 많아, 별다른 추가 설정 없이 바로 사용할 수 있는 편리함이 있습니다. 그러나 로컬 환경에서 Spar...
[Polars 총정리 2부_심화] Polars로 데이터 분석을 더 빠르게!
python으로 Polars를 다룸에 있어 심화적인 기능들에 대하여 총정리! (SQLContext, LazyFrame 등)
[Polars 총정리 1부_기본] Polars로 데이터 분석을 더 빠르게!
Pandas 상위호환! Polars를 활용하여 데이터 분석에 필요한 기초적인 내용 총정리!
[Spark] 실무에서 바로 써먹는 PySpark 핵심 명령어 총정리
Pyspark로 데이터 분석시 자주 사용하는 코드에 대하여 정리해 보았습니다.
Python Dataset 라이브러리로 데이터베이스 작업을 간편하게! 활용법 총정리!
dataset 라이브러리로 데이터베이스에 저장된 데이터 다루는 방법 총정리!
dataclass 데코레이터를 활용한 python Class 개발하기
dataclass 데코레이터를 활용한 간결한 python Class 개발방법 정리!
[GCP] Google Cloud에서 Custom VPC 인프라 구성하기(subnet, router, NAT)
구글 클라우드의 VPC 기본 리소스들에 대하여 알아보고 실습으로 이해해본다.
[GCP] Google Cloud IAM 권한 설정 기초 및 실습
Google Cloud의 IAM 및 Service Account에 대한 역할 부여에 대하여 알아본다.
