---

0. Abstract

본 논문은 Collaborative filtering(CF)을 위한 AutoRec 을 소개한다. AutoRec은 compact하며 효율적으로 기존의 state-of-the-art CF기술들(biased matrix factorization, RBM-CF, LLORMA)을 능가할 수 있는 모델이다.

1. Introduction

협업필터링 모델은 개인에 따른 추천을 제공하기 위해 상품에 따른 사용자의 선호도 정도를 이용한다. 본 논문에서는 AutoRec을 제안하는데, 이는 autoencoder에 기반을 둔 새로운 CF 모델이다. 이는 기존에 존재하던 CF에 대한 신경망 보다 표현력과 계산성에 있어 장점을 보인다. 또한 기존의 state-of-the-art CF기술들 능가함을 입증한다.

Autoencoder란?

입력이 들어왔을 때, 해당 입력 데이터를 최대한 compression 시킨 후, 다시 본래의 입력 형태로 복원 시키는 신경망 이다. 이때 데이터를 압축하는 부분을 **Encoder**라고 하고, 복원하는 부분을 **Decoder**라고 한다. - 압축 과정에서 추출한 의미 있는 데이터를 latent vector라고 부른다.

---

Ex) Auto Encoder는 Input X값을 축소시킨 뒤, 다시 재현해내는 기능을 가지고 있다. 위와 같이 7이라는 숫자를 입력으로 넣어서 다시 7이라는 숫자를 재현 시킬 수 있다.

( 🔗 출처 : https://pebpung.github.io/autoencoder/2021/09/11/Auto-Encoder-1.html )

2. The AutoRec Model

rating 기반의 협업필터링에서는 m users, n items를 가지며, user-item rating 행렬 $R \in R^{m\times n}$을 사용한다.

• User $u \in U=\{1,... , m\}$

  각각의 vector는 다음과 같이 표기 한다.
  $r^{(u)} = (R_{u1}, ... , R_{un}) \in R^n$

• Item $i \in I=\{1,... , n\}$

  각각의 vector는 다음과 같이 표기 한다.
  $r^{(i)} = (R_{1i}, ... , R_{mi}) \in R^m$

본 논문의 목적은 input값으로 넣은 $r^{(i)}(r^{(u)})$를 저차원(low demensional laten (hidden))으로 투영시켰다가 $r^{(i)}(r^{(u)})$로 다시 reconstruct하는 item-based(user-based) autoencoder 디자인 하는 것이다.(output space는 missing ratings을 예측한다.)

Item-based AutoRec model

• 단일 k 차원 히든 레이어가 있는 자동 연관 신경망이다.

Training

▶︎ 기본적인 Loss function
$min_\theta \sum_{r \in S} \parallel r-h(r;\theta) \parallel^2_2$

S : set of vaectors in $R^d$
$h(r; \theta) = f(W·g(Vr+\mu) + b)$

• $h(r; \theta)$ : reconstruction of input $r \in R^d$
• $f(·),g(·)$ : active function
• $\theta = \{W,V,\mu,b\}$
• $W \in R^{d \times k},V \in R^{k \times d}$
• $\mu \in R^k,b \in R^d$

중요한 점은 관측된 데이터의 파라미터만 학습한다는 점, 위 그림에서 회색 노드가 관측된 데이터를 뜻하고 실선이 역전파를 통해 업데이트를 진행한다.
또한 정규화 term을 추가함으로써 관찰된 ratings에 대한 오버피팅을 방지할 수 있다.

▶︎ 최종 Loss function
$min_\theta \sum_{i=1}^{n} \parallel r^{(i)}-h(r^{(i)};\theta) \parallel^2_o +\frac{\lambda}{2}·(\parallel W\parallel^2_F + \parallel V\parallel^2_F),\lambda>0$
👉🏻 $\parallel · \parallel^2_o$ term은 오직 관찰된 ratings만을 고려하겠다는 의미이다.

▶︎ parameters
학습이 진행되는 파라미터수는 $2mk+m+k$이다.

▶︎ 최종 예측된 rating
$\hat{R}_{ui} = (h(r^{(i)};\hat{\theta}))_u$

AutoRec vs existing CF(RBM-CF)

💡 What is RBM?

1)
RBM-CF는 제한된 볼츠머신을 기반으로한 확률적인 모델이다.
AutoRec는 autoencoder을 기반으로 한 discriminative model이다.

2)
RBM-CF는 log likelihood를 최대화 하는 최적의 파라미터값을 추정한다.
AutoRec는 RMSE를 최소화 한다.

3)
RBM-CF는 안정적인 수렴을 필요로한다.
AutoRec는 더 빠른 gradient-based 역전파 수행을 필요로 한다.

4)
RBM-CF는 오직 discrete rating에만 적용할 수 있다.
AutoRec는 r에 구애 받지 않기 때문에 더 적은 파라미터수를 필요로 한다.
👉🏻 더 적은 파라미터수는 메모리를 적게 사용하고 오버피팅을 방지할 수 있다.

AutoRec vs MF

MF의 경우 user와 item을 동시에 latent space로 매핑하지만, item-based AutoRec model의 경우 오직 items만을 latent space로 매핑한다.
또한 MF의 경우 linear latent 형태로만 학습하지만, item-based AutoRec model의 경우 활성화 함수$g(·)$를 이용하여 non-linear latent 형태로 학습 할 수 있다.

3. Experimental Evaluation

(a) item-based vs user-based

RBM과 AutoRec에서 모두 item-based 방법이 더 좋게 나옴을 볼 수 있었다.

(b) linear vs non-linear (AutoRec)

활성화 함수 $g(·)$를 사용한 AutoRec의 성능이 더 좋다는 것을 보여준다.

hidden unit의 수에 따른 성능

hidden unit의 수가 증가함에 따라 성능이 좋아지는 것을 볼 수 있다.

---

👉🏻 참고해보기!
https://github.com/supkoon/AutoRec-tf