5-1. 크리에이터 및 콘텐츠 소개
모듈 전체 학습 내용
총 5개 노드
-
Node 05. 딥러닝과 추천 시스템: 배경과 개요
- 딥러닝의 시대와 추천 시스템
- 딥러닝 추천 시스템 적용 사례
- 추천 시스템은 딥러닝 알고리즘만 중요할까요?
-
Node 06. 다양한 딥러닝 기반 추천 시스템: 특징과 목표
- 협업 필터링의 발전
- Shallow 영역과 Deep 영역
- 어텐션을 활용한 추천 시스템
- 다양한 딥러닝 기반 추천 시스템
-
Node 07. 추천 시스템을 설계할 때 겪을 수 있는 문제들
- 추천 시스템을 구축하기 전에
- 추천 시스템을 괴롭히는 문제
- 추천 시스템 구축과 적용 후
- 추천 시스템 개발자
-
Node 08. 추천 시스템, 모델 톺아보기: 논문과 코드
- 추천 시스템 논문을 학습하기 전에
- NCF
- DeepFM
- AutoInt
- HAFP
-
Node 09. 나만의 딥러닝 기반 추천 시스템 구축하기 [프로젝트]
- 데이터 분석하기
- 데이터 전처리
- AutoInt 모델 구현 및 학습
- 스트림릿을 사용한 시각화
- 프로젝트: AutoInt+ 모델 구현 및 시각화
5-2. 들어가며
Node 05 학습 내용
-
딥러닝과 추천 시스템
- 추천 시스템의 중요성
- 딥러닝의 시대와 추천 시스템
-
딥러닝과 추천 시스템 적용 사례
- Youtube
- Netflix
- 국내 사례
-
추천 시스템은 딥러닝 알고리즘만 중요할까요?
- 평가
- 서비스 및 시스템
- UI/UX
- 모니터링
- 개인화
Node 05 학습 목표
- 추천 시스템에 딥러닝이 적용된 배경에 대한 파악
- 실제 사례를 통한 use case 이해 및 벤치마킹
- 추천 시스템 구축에서 알고리즘 이외의 중요 요소 파악
5-3. 딥러닝과 추천 시스템
1. 추천 시스템의 중요성
-
비즈니스 기여
- 수익
- 콘텐츠 소비 향상
- 리텐션 향상
-
사용자에게 기여
- 사용자 만족도 상승
- 사용자 경험 향상
추천 시스템은 산업 전반에 사용되고 있으며 친숙한 기술임!
- 추천 시스템이 중요한 이유
- 논문에서도 알 수 있듯 "추천 시스템이 중요하다"라는 메시지를 공통적으로 전달하고 있음
- 추천 시스템
- 크게 콘텐츠 기반 필터링, 협업 필터링 존재
- 그러나, 실제 사용자가 단순하게 행동한다는 전제가 있어야 하는 방법론이기 때문에 한계가 있음
- 또한 텍스트, 이미지, 소리, 영상 등의 비정형 데이터에 대한 활용이 부족함
딥러닝 기반 추천 시스템이 대두되는 이유!
2. 딥러닝과 추천 시스템
- 활용되는 기술
- RNN, Autoencoder, Graph, CNN, MLP, Attention...
장점
-
복잡한 데이터의 처리
- 다양한 구매 패턴, 선호도 분석, 이력이 복잡한 경우를 포함하여 많은 데이터들을 처리 및 분석 ➡️ 정확한 추천
-
Feature Learning(특징 학습)
- *고차원적인 입력 데이터에서 사용자 행동 식별 및 패턴 학습
- 입력 특징들 간의 관계 학습 가능
- *고차원: 특징 혹은 속성이 많은 데이터
-
희소 데이터 처리
- 입력 데이터는 대부분 희소 형태 ➡️ 희소 데이터의 관계 역시 효율적인 학습 가능
-
확장성 & 효율성
- 데이터 양, 사용자 히스토리 증가 등의 이유가 발생해도 ➡️ 효율적으로 확장
영향
-
정확도 향상
- 복잡한 패턴을 잘 모델링 ➡️ 추천 정확도가 올라감
-
개인화 향상
- 데이터가 희소해도 ➡️ 사용자 패턴을 모델링할 수 있음
- 개인화 능력이 향상되는 것
-
다양성 향상
- 사용자의 잠재 흥미 예상 콘텐츠 제공 가능
-
콜드 스타트 방지(성능 향상)
- 메타 데이터를 활용해 콜드 스타트 방지 가능
5-4. 딥러닝 추천 시스템 적용 사례
Youtube
가장 유명한 논문: Deep Neural Networks for YouTube Recommendations
- 추천 시스템을 구성하는 방법에 대한 내용이 작성되어 있음
- 2개의 스테이지로 구성
- 후보 생성 스테이지
- 랭킹 생성 스테이지
- Input Feature를 다양하게 활용, 관계성까지 고려
On YouTube’s recommendation system
- 추천 시스템의 최초 배포, 시청 시간 측정, 평가 중요성까지의 내용이 작성되어 있음
Youtube의 사용자 데이터 사용
- 시청 시간
- 좋아요, 싫어요
- 클릭 이력
- 검색 이력
- 공유 이력...
Netflix
Deep Learning for Recommender Systems: A Netflix Case Study
- 2021년 소개된 논문
- 어려움
- 기존 협업필터링 등의 방법론으로 잘 튜닝할 경우 성능이 꽤 잘 나오는 편
- 그럼에도 딥러닝을 사용한 이유
- 다른 feature 및 information 결합 시 딥러닝의 강점이 확실하게 나왔기 때문
- 이러한 연구와 발전들이 넷플릭스 비즈니스에도 영향을 크게 미침
- 다양한 실험
- 딥러닝, 다른 방법론들... ➡️ 무조건적으로 우수한 방법은 없음을 알게 됨
- 넷플릭스가 다양한 섹션에 대한 특징에 맞게 다양하게 학습 모델을 활용하게 된 이유!
- 가장 강조하는 부분
- 딥러닝 모델은 데이터의 다양성과 양이 보장될 때 더 빛을 발함!
- 딥러닝 모델은 데이터의 다양성과 양이 보장될 때 더 빛을 발함!
국내 사례
쿠팡 추천 시스템 2년간의 변천사 (상품추천에서 실시간 개인화로)
- 쿠팡에서 2년간 겪은 추천 시스템 개발 시행착오 기록
- 추천 시스템에서의 모델 및 서비스
- serving time
- 필터, 부스팅
- 인덱싱 처리..
추천시스템 3.0: 딥러닝 후기시대에서 바이어스, 그래프, 그리고 인과관계의 중요성
- 바이어스, 그래프, 인과관계에 따른 추천 시스템의 발전 사항 소개
- 추천 시스템의 발전 형태
- 편향 데이터를 다루는 방법
- 추천 시스템 모니터링
- 아이템 추천을 위한 GNN
- 온,오프라인 성능 싱크를 맞추는 방법
유저가 좋은 작품(웹툰)를 만났을 때(유저의 탐색, 발견 그리고 만족도에 대하여 탐색적 분석하기)
- 카카오 픽코마 웹툰 추천 시스템
- 추천 시스템 목적 및 목표
- 픽코마 웹툰 추천 시스템 개요
- 사용자의 만족도를 끌어올릴 수 있는 방법에 대한 고찰
- 다양한 사용자 분석
그 외 자료들
- 뭐볼까? : 네이버 AiRS 인공지능 콘텐츠 추천의 진화 [영상] [자료]
- 당신 취향의 맛집을 추천해드립니다 : 장소 개인화 추천 시스템의 비밀 (Collaborative Filtering Meets the Item Embedding) [영상] [자료]
- 네이버 뉴스 추천 알고리즘에 대해 (Part1)
- ‘함께 볼 만한’ 상품도 맞춤형으로, 스타일 토픽 기반 쇼핑 추천 (AiTEMS)을 소개합니다.
- LINE Timeline의 새로운 도전 1편 - 추천 컨텐츠 탐색을 위한 Discover와 새로운 구독 모델 Follow
- 당근 테크 블로그
- 제로 베이스에서 구축하는 추천 시스템(Feat. 교육 플랫폼) - 이수진(웅진씽크빅 에듀테크연구소 | 모두콘2023
5-5. 추천 시스템은 딥러닝 알고리즘만 중요할까요?
평가
매칭 기반 평가(Top K)
-
Precision@K- 추천 시스템이 추천한 아이템 k개 중 실제 사용자가 관심있어 하는 아이템의 비율
- 수치가 높을수록 좋음
-
Recall@K- 사용자가 관심있어 하는 아이템 중 추천 시스템이 추천한 아이템이 얼마나 포함되는지
- 수치가 높을수록 좋음
-
Hit Rate@K- 추천 시스템이 추천한 아이템 k개 중 사용자가 관심있어 하는 아이템이 1개라도 있다면 히트
- 수치가 높을수록 좋음
위치 기반 평가(랭킹 기반 평가)
MAP(Mean Average Precision)- 관련 있는 Average Precision의 평균
- 수치가 높을수록 좋음
NDCG(Normalized Discounted Cumulative Gain- 이상적인 추천과 비교해 랭킹 기반 추천이 잘 이뤄졌는지 평가
- 수치가 높을수록 좋음
모델 전체 성능
-
AUC(Area Under the Curve)- ROC 커브 아래 면적
- 수치가 높을수록 좋음
-
Log Loss- 실제 예측 값 vs 모델 예측값의 손실값
- 수치가 낮을수록 좋음
서비스 및 시스템
- 전에 언급한 쿠팡 사례에서, 서비스와 시스템 관점도 생각해야 함을 알 수 있음
UI/UX
-
추천 시스템 3.0 사례에서 알 수 있듯, UI/UX 측면도 아주 중요
-
넷플릭스 기술 블로그: Learning a Personalized Homepage
모니터링
- 모델 및 비즈니스적 관점에서 지속적으로 모니터링을 해야만 한다는 것
개인화 방법
- 썸네일 개인화
- 메시지 개인화
언젠가 내 코드로 세상에 기여할 수 있도록, Data Science&BE 개발 기록 노트☘️