빅데이터

빅데이터

전통적인 데이터 프로세싱 방법으로는 처리할 수 없을 만큼 대규모이거나 복잡한 데이터

빅데이터 기술

: 기존의 데이터베이스, 관리 시스템을 넘어 다양한 형태를 가진 대량의 데이터를 분석함으로써 의미있는 가치를 추출하고 결과를 분석하는 기술

빅데이터 등장배경

• 기술 발전에 따른 데이터 저장, 처리 비용 감소
• 실시간 서비스, SNS 서비스 등으로 디지털 정보량의 기하급수적 증가
• 기존 데이터의 저장, 관리, 분석, 기법의 한계

빅데이터 특징

• Volume(규모) : 대규모 크기
• Variety(다양성) : 비표준 형식의 광범위한 범위
• Velocity(속도) : 신속하고 효율적으로 처리
• Value (가치) : 분석할만한 가치를 가지는 데이터여야 함
• Veracity (유효성/진실성) : 신뢰성 및 타당성
• Volatility (휘발성) : 데이터가 얼마나 오래 유의미함을 가지는지
• Validity (정확성) : 정확한 정보인가 (정확성이 없다면 규모가 커도 무의미)

빅데이터 활용

• 수백 년 전 기록을 바탕으로 빅데이터 분석을 통해 미래 예측 가능

• 역사적 데이터를 기반으로 한 과거 기상 데이터는 향후 몇 십년 내의 지진, 화산 폭발 등 기후 예측에 도움

• 심야 버스 노선도, 고객 맞춤형 상품 출시 등 데이터를 기반으로 사용자의 니즈 파악 가능

• 페이팔
  : 온라인 쇼핑몰 사기 수법 분석 및 예방을 위한 딥러닝 도입 → 사기 유형 비교 및 사기 방식 탐지, 다양한 유사수법 파악

• 아마존
  : 분석 시스템을 통해 특정 나이, 특정 취향, 특정 수입의 고객이 어떤 상품을 좋아할지 예측하여 쇼핑하는 시간 동안 배너로 보여줌
  : 경쟁 업체의 가격, 예상 이익률, 웹사이트 내의 활동 등을 토대로 상품의 가격을 10분마다 최적화

빅데이터 장점

• 분야를 가리지 않고 전 영역에 걸쳐 사회와 인류에 가치 있는 정보 제공 가능

• 데이터 처리 및 분석
  : 대규모 데이터 세트의 분산 처리를 가능하게 하므로 처리 시간 단축 및 컴퓨팅 리소스의 효율적 사용이 가능
  : 기계 학습 알고리즘을 통해 고객 행동 및 선호도 패턴/경향 식별 가능

• 공급망 최적화
  : 소매 업체는 공급망 데이터 분석을 통해 비효율성과 개선 기회를 식별 가능함 (ex. 운송 경로의 최적화를 통한 비용 감소)

빅데이터 단점

• 사생활 침해 및 보안 문제
  : 수 많은 개인 정보의 집합이므로 보안 문제가 발생한다면 개인정보 유출로 이어짐. 또한 누적된 정보 패턴에 기초하여 개인의 생활 패턴/성향에 대해 분석할 수 있게 되므로 개인정보 침해 그 이상의 위험이 발생 가능
  → 블록체인을 결합하여 데이터의 암호화를 통해 보호 가능
  → 보호와 활용의 균형적 인식을 고려한 법률 규제 필요

• 통합, 스토리지 용량 및 부족한 IT 예산
  : 대량의 데이터를 관리 및 저장하기 위한 전문 인프라 및 도구가 필요
  → 데이터 웨어하우징, 분산 컴퓨팅 및 클라우드 기반 스토리지 솔루션

• 기술 격차
  : 빅데이터 기술 및 데이터 과학에 능숙한 전문가가 부족
  → 전문가 양성을 위한 국가적/기업 차원에서의 교육 및 개발 투자가 필요