- 전체보기(221)
- 쿠버네티스(23)
- docker(14)
- mysql(13)
- python(12)
- ML(10)
- AWS-SAA(10)
- git(10)
- kubernetes(9)
- mac(6)
- airflow(6)
- 도커(6)
- k8s(5)
- vue(5)
- pod(4)
- FastAPI(4)
- terraform(4)
- hadoop(4)
- 데이터베이스(4)
- M:1(4)
- kubeflow(3)
- github(3)
- db(3)
- 클라우드(3)
- 볼륨(3)
- 컨테이너(3)
- npm(3)
- pip(3)
- 모델 서빙(2)
- helm(2)
- branch(2)
- 리눅스(2)
- pipeline(2)
- linux(2)
- amazon(2)
- homebrew(2)
- 서비스(2)
- prometheus(2)
- 디버깅(2)
- 스터디(2)
- S3(2)
- Proxy(2)
- hive(2)
- Jupyter(2)
- etl(2)
- proxysql(2)
- CI/CD(2)
- ansible(2)
- shell(2)
- 자기소개(2)
- workbench(2)
- 파이프라인(2)
- safemode(2)
- aws(2)
- dockerfile(2)
- curl(2)
- pandas(2)
- MySQL Operator(2)
- ensemble(2)
- NLP(1)
- OLTP(1)
- 네임스페이스(1)
- TDD(1)
- 알고리즘(1)
- presto(1)
- PostgressSQL(1)
- Query parameters(1)
- router(1)
- 이직(1)
- 마이크로서비스(1)
- 데코레이터(1)
- 가상환경(1)
- kubespray(1)
- 아파치(1)
- 메모리 관리(1)
- Persistent Volume(1)
- OLAP(1)
- 환경변수(1)
- 테스트 주도 개발(1)
- SPOF(1)
- livenessprobe(1)
- 성능 평가(1)
- HDFS(1)
- node.js(1)
- minikube(1)
- replication(1)
- 인그레스(1)
- transaction(1)
- frontend(1)
- 데이터 카탈로그(1)
- ML pipeline(1)
- anaconda(1)
- transformer(1)
- PCA(1)
- 하둡 에코시스템(1)
- iTerm(1)
- PostgresSQL(1)
- cli(1)
- Node(1)
- 주니어(1)
- WAS(1)
- 온프레미스(1)
- kubectl(1)
- zookeeper(1)
- Thanos(1)
- CS(1)
- msa(1)
- 버킷(1)
- 트랜잭션(1)
- Feature Engineering(1)
- LSN(1)
- postgres(1)
- 프로토콜(1)
- build(1)
- 분산코디네이션(1)
- Custom Scoring(1)
- SQLAlchemy(1)
- 워커홀릭(1)
- alembic(1)
- ImportError:dlopen(1)
- start_date(1)
- clone(1)
- @property(1)
- Probe(1)
- notion(1)
- 개발자(1)
- 수명 주기 정책(1)
- 백업(1)
- 분산 처리(1)
- kafka(1)
- 카프카(1)
- 명령어(1)
- pages(1)
- Lens(1)
- macro(1)
- Dockfile(1)
- 삽질(1)
- 재택(1)
- nosql(1)
- Mysqld-exporter(1)
- Java(1)
- Statefulset(1)
- memory management(1)
- .sh(1)
- OpenJDK(1)
- 목차(1)
- Grafana(1)
- 하둡(1)
- 랜더링(1)
- 커버로스(1)
- 커널(1)
- Life Cycle Rule(1)
- taints(1)
- 파드(1)
- wordpress(1)
- 데이터엔지니어(1)
- DAG(1)
- 마이그레이션(1)
- GitOps(1)
- iterm2(1)
- IP 주소(1)
- ClickHouse(1)
- 쿠버네티스인액션(1)
- 파이썬(1)
- bigdata(1)
- 운영체제(1)
- requirement.txt(1)
- docker compose(1)
- argocd(1)
- spark(1)
- 템플릿(1)
- 원격저장소(1)
- 로그 시퀀스 번호(1)
- 사회초년생(1)
- 노션(1)
- authentication(1)
- 모델 배포(1)
- OS(1)
- 퍼시스턴트(1)
- vim(1)
- 앙상블(1)
- DE(1)
- Service mesh(1)
- numpy(1)
- 죠르디(1)
- multiprocessing(1)
- ML Engineer(1)
- 조건(1)
- terminal(1)
- dirname $0(1)
- 병렬처리(1)
- 권한(1)
- jenkins(1)
- 라이브러리(1)
- 프레임워크(1)
- 에어플로우(1)
- Xtrabackup(1)
- DNS(1)
- ROC(1)
- Regularization(1)
- 도서리뷰(1)
- image(1)
- 빅데이터(1)
- 파일작성(1)
- WHERE(1)
- hub(1)
- cross platform(1)
- 도커컴포즈(1)
- 제너레이터(1)
- maven(1)
- 컴포넌트(1)
마이크로서비스 아키텍처(Microservices Architecture)
마이크로 서비스는 대규모 소프트웨어 프로젝트를 마이크로 단위의 모듈로 분리하여 loosely-coupled한 구조로 만들고 API를 통해 서로 통신합니다.지난 몇 년동안 마이크로 서비스에 대해서 많은 이야기가 있었습니다. 모듈형 아키텍처 스타일은 클라우드 기반 환경에
Service Mesh
최근 IT환경은 Cloud로 대변되는 시스템 구축 환경의 변화에 따라 이를 잘 활용할 수 있는 다양한 Architecture들이 나타나고 있습니다.Service Mesh Architecture는 MicroService Architecture와 더불어 최근 활발하게 언급
Terraform M1 Error: Incompatible provider version 해결완료
Terraform init을 하는데 darwin 버전에 맞는 공급자가 없다는 에러가 나는 경우가 있습니다.이는 terraform initTerraform을 m1 MacBook으로 사용할 때 arm64 Darwin 커널에 대한 바이너리가 없기 때문에 때때로 실패합니다.
Github pages 기능으로 웹페이지 배포하기
github에서 제공하는 정적 웹페이지 호스팅 서버로 포트폴리오 사이트와 같이 간단한 사이트를 만드는데 활용됩니다.템플릿을 다운받으셔서 간단하게 시작하실 수도 있고https://html5up.net/photon저는 Chat GPT를 사용하여 웹사이트를 만들었습
terraform 기본 사용법
디렉토리 생성provider.tf에 아래 구문 추가(IAM 인증)Terraform 초기화파일 리스트배포할 Resource 확인(추가할 Resoucre는 +로 표기)Resource를 AWS(provider.tf 설정된 AWS 계정)로 배포AWS Console - S3에서
terraform aws 환경 구축
terraform 1.0.9tfswitch 0.12.1168AWS Vault 6.3.1-Homebrewaws 계정 생성과 cli의 인스톨은 미리 되어 있어야 합니다.다음 구성을 테라폼으로 작성해보도록 하겠습니다.network \- vpc \- subnet(publi
데이터 카탈로그
데이터 카탈로그는 사용자가 필요한 정보를 빠르게 찾을 수 있도록 하는 회사의 데이터 자산 목록입니다. 카탈로그는 대부분 다른 데이터에 대한 기본 정보를 제공하고 그것이 무엇인지 설명하는 메타데이터입니다. 사용자는 데이터 관리 및 검색 도구와 결합한 데이터 카탈로그를 갖
notion 목차 고정
저는 업무 및 공부한 내용을 모두 notion에 기록하며 공부하는데요.길이 길어질 수록 목차를 사용하여 쉽게 내용 파악과 이동을 편하게 하는데요.일반 노션 목차의 단점은 우측에 고정처럼 쓰고싶은데 스크롤을 내리면 목차가 상단에 고정되어있어... 보이지 않죠 ㅠㅠ그래서
OpenStack 이란
OpenStack은 폴링된 가상 리소스를 사용하여 프라이빗 및 퍼블릭 클라우드를 구축하고 관리하는 오픈소스 플랫폼입니다.LaaS 형태의 클라우드 컴퓨팅 오픈소스 프로젝트이다. LaaS를 쉽게 구축할 수 있도록 플랫폼을 지원해주며 사용자는 오픈스택의 대시보드를 통해 프로
git repository의 일부 디렉토리만 clone 하기
프로젝트 구조가 하나의 repository에 해당 프로젝트에 대한 모든 코드를 다 넣어두고 개발 스택별로 폴더를 나누어 구분하는 구조로 되어있어서 특정 폴더만 clone 하기 위해 사용한 방법을 포스팅하려고 합니다.
OLTP, OLAP
Online Transaction Processing 직역하면 온라인 트랜잭션 처리를 뜻하는데요.복잡하게 말하면 복수의 사용자 PC에서 발생되는 트랜잭션(Transaction)을 DB서버가 처리하고, 그 결과를 요청한 사용자PC에 결과값을 되돌려주는 과정을 뜻합니다.쉽
카프카(Kafka)
오늘날 카프카가 없는 데이터 처리 아키텍처를 상상해보기란 어려울 것입니다. 그만큼 데이터가 비지니스의 핵심이 된 오늘날 현실 속에서 만약 카프카가 없었다면 급속도로 변화하는 다양한 비즈니스의 요구사항들을 충족시키기란 매우 어렵고 고된 일이 될 것 입니다.오늘날 데이터
Hive
하이브는 하둡 에코시스템 중에서 데이터를 모델링하고 프로세싱하는 경우 가장 많이 사용하는 데이터 웨어하우징용 솔루션입니다.RDB의 데이터베이스, 테이블과 같은 형태로 HDFS에 저장된 데이터의 구조를 정의하는 방법을 제공하며, 이 데이터를 대상으로 SQL과 유사한 Hi
메모리 관리(Memory Management)
먼저, 프로세스의 주소(Address)는 논리적 주소(Logical address)와 물리적 주소(Physical address)로 나뉜다. 논리적 주소는 가상 주소(Virtual address)라고도 하며, CPU가 생성하는 주소이다. 프로세스마다 독립적으로 가지는
하둡 에코시스템
빅데이터 분석이 쉬어진 것은 하둡이 나오면서부터입니다.하둡은 대용량이 데이터를 적은 비용으로 더 빠르게 분석할 수 있는 플랫폼이며, 빅데이터 처리와 분석을 위한 플랫폼 중 사실상 표준으로 자리잡고 있습니다.여러 대의 컴퓨터로 데이터를 분석하고 저장하는 방식으로 분석에
빅데이터 프레임워크 비교 분석
빅데이터 처리로 하둡이 대표적입니다.그렇다면 오늘 빅데이터 프레임워크인 Hadoop, Spark, Hive 하지만 추구하는목적과 용도가 다른 세 프레임에 대해서 알아봅시다.최근 기업에서 데이터 분석에 관심을 갖고 데이터 분석 기반의 의사결정을 내리고 있습니다.이런 빅데
HDFS란?
HDFS란 Hadoop File System의 약자로 하둡 파일 시스템을 의미합니다.HDFS란 말그대로 하둡이 실행되는 파일을 관리해주는 시스템입니다.이는 크게 NameNode, DataNode로 구성되어져 있습니다.데이터 파일 크기나 개별 장비의 파일 시스템 크기에
Hadoop SafeMode
네임노드가 시작 시, 진행되는 과정은 다음과 같습니다.fsimage를 메모리에 로딩editlog를 읽어 fsimage에 반영 (체크포인팅)데이터노드가 블록리포트를 보내줌safemode에 진입하고, 데이터노드가 보내준 블록리포트 정보를 토대로 블록 복제수가 일정 수준까지
[Solved] org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory . Name node is in safe mode.
Name node is in safe mode.위와 같은 에러때문에 hdfs 처리를 못 할 때는 에러에도 나오겠지만 safe mode를 꺼서 해결할 수 있습니다.