# bigdata

34개의 포스트
post-thumbnail

[Bigdata] Hadoop 이란 - HDFS

하둡 개념

약 23시간 전
·
0개의 댓글
post-thumbnail

Airflow란?

Airflow에 대한 개념

2021년 12월 23일
·
1개의 댓글
post-thumbnail

Airflow

Airbnb에서 개발한 워크플로우 관리도구ex) Oozie스케쥴링Python 기반Task를 DAG의 형태로 구성웹서버, 스캐쥴러, 워커로 구성되어있다웹서버Flask기반, 웹UI를 통해 DAG의 성공여부를 확인 할 수도 있다.작업실행 or 재시작로그확인Referenceh

2021년 12월 16일
·
0개의 댓글
post-thumbnail

[토스] 데이터의 흐름과 활용

<데이터 흐름도>db와 서비스 API의 로그를 Extract하는 과정로그를 입수하는 과정에서 여러 휴먼에러가 있었고 히스토리를 찾기 어려웠다.로그 정의 시스템 개발 (서비스별 로그를 정의하고 검색 및 관리 할 수 있는 툴)kafka에 적재된 토픽 로그들은 스트리

2021년 12월 14일
·
0개의 댓글
post-thumbnail

[Data Engineering Map]

2021년 12월 14일
·
0개의 댓글
post-thumbnail

OLAP이란?

OLTP -> D.W -> D.M -> OLAP (바로 초이스 할 수 있는형태)기업활동에 필요한 자동화 프로세스OLTP (Online Transaction Processing)네트워크상의 여러 이용자가 실시간으로 데이터베이스의 데이터를 갱신하거나 조회하는 등의 단위 작

2021년 12월 14일
·
0개의 댓글
post-thumbnail

"'데이터 무결성' 확보해야 하지만... 흔한 함정 4가지"를 읽고

IDG Connect - 데이브 랭톤(마틸리안의 제품 담당 부사장) : '데이터 무결성' 확보해야 하지만... 흔한 함정 4가지: 문제를 해결하기위한 계획이라는 의미로 자주 사용된다. plan (계획, 새로운 사업 구상) '에 가까운 말.: 기업들이 EU 가입국에서 발

2021년 11월 23일
·
0개의 댓글
post-thumbnail

Data Lake Research

Data Lake란?

2021년 11월 15일
·
0개의 댓글
post-thumbnail

[BigData] Ubuntu(EC2)에 Apache Hive 3.1.2를 설치해보자

Ubuntu에 Hive 설치하기

2021년 9월 17일
·
0개의 댓글
post-thumbnail

[BigData] Hadoop, Spark, Hive.. 도대체 뭐가 다른걸까?

과연 빅데이터 처리 = 하둡(Hadoop)일까?

2021년 9월 13일
·
0개의 댓글
post-thumbnail

맵리듀스로 그리는 빅데이터 지도

빅'데이터 처리의 기본패턴 제타바이트(Zettabyte, $10^{21}$) 단위까지 증가한 데이터, 즉 빅데이터를 처리하기 위한 방법은 성능이 좋은 컴퓨터를 써야한다. 혹은 컴퓨터를 여러 대를 연결한 뒤 작업을 분할해 사용할 수도 있다. 멀티 코어, 멀티 프로세서 등

2021년 9월 1일
·
0개의 댓글
post-thumbnail

[정보] 인공지능 입문을 위한 책, 강의, 사이트 추천

인공지능 입문을 위한 책/강의/사이트 추천입니다.

2021년 8월 15일
·
0개의 댓글
post-thumbnail

Chapter 05 객체지향 프로그래밍

객체지향 프로그래밍

2021년 8월 13일
·
0개의 댓글
post-thumbnail

Chapter 04 문자열과 배열

1. 문자열 2. 배열

2021년 8월 11일
·
0개의 댓글
post-thumbnail

빅데이터

빅데이터 프로젝트

2021년 8월 8일
·
0개의 댓글
post-thumbnail

Chapter 03 함수

사용자 정의 함수

2021년 8월 6일
·
0개의 댓글
post-thumbnail

Chapter 02 조건문과 반복문

if, elif, for, while,

2021년 8월 4일
·
0개의 댓글