🚦 데이터엔지니어링

Presto는 facebook에서 엄청나게 큰 페타바이트급의 데이터를 효율적으로 분석하기 위해 2012년에 kickoff된 프로젝트입ㄴ디ㅏ.대용량의 데이터를 빠르게 추출할 때 사용되는 툴입니다.다양한 소스 지원hive 메타스토어, RDBMS, 아마존 s3 등 다양한 소

shard와 replica는 elasticserarch에서 크게 사용하는 개념이지만.비단 elasticsearch 뿐만 아니라 db에서도 쓰이는 개념이다.RAID는 여러개의 하드디스크를 용도에 맞게 구성해 사용하는 기술이다.저장 속도를 높이기 위해 분할 저장을 하거나

zookeeper는 분산 코디네이션 서비스를 제공하는 오픈소스 프로젝트이다. 직접 어플리케이션 작업을 조율하지 않고 조율하는 것을 쉽게 개발할 수 있도록 도와주는 도구이다. API를 이용해 동기화나 마스터 선출 등의 작업을 구현할 수 있어서 간편하다. 각 애플리케이션

mysql workbench 에서 데이터 dump를 export, import할 수 있습니다.메뉴 server > Data Exportexport할 데이터베이스를 선택하면 우측에 선택한 데이터베이스의 테이블 목록이 보입니다.모두 선택한 후 아래 Export to Dum

mysql을 사용하여 db를 사용 시, 데이터를 백업해두어야 만일의 경우 db의 정보가 날라갈 경우 백업본을 바탕으로 복구할 수 있으므로 db 정보를 백업하는 작업은 필요합니다.백업을 위해 사용할 툴은 xtrabackup입니다.Percona에서 만든 백업 유틸리티로 M

SQL Server 트랜잭션 로그의 모든 레코드는 LSN(로그 시퀀스 번호)으로 고유하게 식별됩니다. LSN은 변경이 발생한 순서에 따라 번호가 매겨집니다. 예를 들어 LSN2가 LSN1보다 큰 경우 로그 레코드 LSN1에 해당하는 변경이 먼저 발생하고 로그 레코드 L

트랜잭션은 작업의 완전성 을 보장해주는 것이다. 즉, 논리적인 작업 셋을 모두 완벽하게 처리하거나 또는 처리하지 못할 경우에는 원 상태로 복구해서 작업의 일부만 적용되는 현상이 발생하지 않게 만들어주는 기능이다. 사용자의 입장에서는 작업의 논리적 단위로 이해를 할 수

관계형 데이터 모델을 지양 하며 대량의 분산된 데이터를 저장하고 조회하는 데 특화되었으며 스키마 없이 사용 가능하거나 느슨한 스키마를 제공하는 저장소를 말한다.종류마다 쓰기/읽기 성능 특화, 2 차 인덱스 지원, 오토 샤딩 지원 같은 고유한 특징을 가진다. 대량의 데이

분산 처리의 필요성을 이해하기 위해서는 병렬처리에 대해서 먼저 알아야합니다.분산 처리의 이해에 기본이 되는 알고리즘이 Divide and Conquer’ 입니다.이는 알고리즘에서 정렬, 탐색에서 흔히 사용되는 알고리즘이죠.복잡하고 큰 데이터를 여러 개의 작은 데이터로

ML pipeline은 아래 그림에서 볼 수 있듯이 여러 구성요소로 구성됩니다. ML pipeline은 모델 학습을 생성하는 데 필요한 워크플로우를 체계화하고 자동화하는 방법입니다.ML pipeline은 데이터 추출 및 전처리부터 모델 학습, 배포에 이르기까지 모든 작

ETL은 Extract, Transfron, Load의 약자로 여러 시스템의 데이터를 단일 데이터베이스, 데이터 저장소, 데이터 웨어하우스 또는 데이터 레이크에 결합하기 위해 일반적으로 사용되는 방법입니다.DB에서 SQL을 통해 데이터를 가져오는 것이다.원래의 sour

리눅스 커널은 리눅스 운영체제의 주요 구성 요소이자 컴퓨터 하드웨어와 프로세스를 잇는 핵심 인터페이스입니다.커널이라는 이름은 단단한 껍질 안의 씨앗처럼 os 내에 위치하고 전화기, 노트북, 서버 또는 컴퓨터 유형에 관계없이 하드웨어 모든 주요 기능을 제어하기 때문에 붙

이번 포스팅에서는 GitOps가 무엇인가에 대해서 알아보고 그 구현체인 ArgoCD에 대해서 알아보겠습니다.GitOps란 Weaveworks라는 회사에서 처음 쓰기 시작하였고 CI/CD 파이프라인 중 특별히 Delivery에 초점을 가지고 탄생한 개념입니다.GitOps

GitOps가 무엇인지 모르시는 분들께서는 앞서 포스팅한 글을 살펴봐주시면 도움되실 겁니다.GitOps는 핵심은 매니페스트가 정의되어 있는 Git 저장소가 변경되면, Git 저장소의 내용과 쿠버네티스 클러스터를 동기화 해주는 에이전트가 변경 내역을 쿠버네티스 클러스터에

Kubernetes는 자체적으로 self-healing이 가능한데요.시스템이 영향을 받을 때마다 pod, container 단위로 상태를 감지하고, 비정상적인 경우 자체적으로 교체하여 안정적인 서비스를 유지할 수 있도록 도와줍니다.Self-healing Kubernet

위키피디아에 따르면 SPOF는 다음과 같습니다.단일 고장 점(single point of failure, SPOF)는 시스템 구성 요소 중에서, 동작하지 않으면 전체 시스템이 중단되는 요소를 말한다. 예를 들어 이더넷 케이블과 전원, 이더넷 허브(HUB), 접속 단말들

Name node is in safe mode.위와 같은 에러때문에 hdfs 처리를 못 할 때는 에러에도 나오겠지만 safe mode를 꺼서 해결할 수 있습니다.

네임노드가 시작 시, 진행되는 과정은 다음과 같습니다.fsimage를 메모리에 로딩editlog를 읽어 fsimage에 반영 (체크포인팅)데이터노드가 블록리포트를 보내줌safemode에 진입하고, 데이터노드가 보내준 블록리포트 정보를 토대로 블록 복제수가 일정 수준까지

HDFS란 Hadoop File System의 약자로 하둡 파일 시스템을 의미합니다.HDFS란 말그대로 하둡이 실행되는 파일을 관리해주는 시스템입니다.이는 크게 NameNode, DataNode로 구성되어져 있습니다.데이터 파일 크기나 개별 장비의 파일 시스템 크기에

빅데이터 처리로 하둡이 대표적입니다.그렇다면 오늘 빅데이터 프레임워크인 Hadoop, Spark, Hive 하지만 추구하는목적과 용도가 다른 세 프레임에 대해서 알아봅시다.최근 기업에서 데이터 분석에 관심을 갖고 데이터 분석 기반의 의사결정을 내리고 있습니다.이런 빅데

빅데이터 분석이 쉬어진 것은 하둡이 나오면서부터입니다.하둡은 대용량이 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 플랫폼이며, 빅데이터 처리와 분석을 위한 플랫폼 중 사실상 표준으로 자리잡고 있습니다.여러 대의 컴퓨터로 데이터를 분석하고 저장하는 방식으로 분석에

하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다.RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 Hi

오늘날 카프카가 없는 데이터 처리 아키텍처를 상상해보기란 어려울 것입니다. 그만큼 데이터가 비지니스의 핵심이 된 오늘날 현실 속에서 만약 카프카가 없었다면 급속도로 변화하는 다양한 비즈니스의 요구사항들을 충족시키기란 매우 어렵고 고된 일이 될 것 입니다.오늘날 데이터

Online Transaction Processing 직역하면 온라인 트랜잭션 처리를 뜻하는데요.복잡하게 말하면 복수의 사용자 PC에서 발생되는 트랜잭션(Transaction)을 DB서버가 처리하고, 그 결과를 요청한 사용자PC에 결과값을 되돌려주는 과정을 뜻합니다.쉽

데이터 카탈로그는 사용자가 필요한 정보를 빠르게 찾을 수 있도록 하는 회사의 데이터 자산 목록입니다. 카탈로그는 대부분 다른 데이터에 대한 기본 정보를 제공하고 그것이 무엇인지 설명하는 메타데이터입니다. 사용자는 데이터 관리 및 검색 도구와 결합한 데이터 카탈로그를 갖