RecSys Basic 평가지표

추천 문제 : 랭킹 또는 예측 2가지로 나누니다

랭킹(Ranking) : 유저에게 적합한 아이템 Top K개를 추천하는 문제

• 유저(X)가 아이템(Y)에 가지는 정확한 선호도를 구할 필요는 없음
• metric : Precision@K, Recall@K, MAP@K, NDCG@K

예측(Prediction) : 유저가 아이템을 가질 선호도를 정확하게 예측 (평점 or 클릭/구매확률)

• Explicit Feedback / Implicit Feddback
• 유저-아이템 행렬을 채우는 문제
• metric : MAE, RMSE, AUC

Ranking

• Precision@K
  - 우리가 추찬한 K개 아이템 가운데 실제 유저가 관심있는 아이템의 비율

• Recall@K
  - 유저가 관심있는 전체 아이템 가운데 우리가 추천한 아이템읩 비율

우리가 추천한 아이템 개수 : K=5
추천한 아이템중 유저가 관심있는 아이템 개수 : 2
유저가 관심있는 아이템의 전체 개수 : 3

Precision@5 = 2.5
Recall@5 = 2/3

• AP@K
  - Precision@1부터 Precision@K까지의 평균값
  $AP@K={1\over m}\sum_{i=1}^kPrecision@i$

• MAP@K
  - 모든 유저에 대한 Average Precision의 평균
  $MAP@K={1\over |U|}\sum_{u=1}^{|U|}(AP@K)_u$

• NDCG@K
  - 추천 시스템에서 가장 많이 사용되는 지표 중 하나!
  - Precision@K, MAP@K와 마찬가지로 Top K 리스트를 만들고 유저가 선호하는 아이템을 비교하여 값을 구함
  - MAP@K와 마찬가지로 추천의 순서에 가중치를 더 많이 두어 성능을 평가하며 1에 가까울수록 좋음

유저에게 얼마나 더 관련 있는 아이템을 상위로 노출시키는지 알 수 있음

카카오 아레나에 쓰였던 멜론 음악 추천 시스템의 평가지표 역시 NDCG!!