투빅스 14기 강재영

• RNN의 경우, 최종 벡터에만 중점들 두기 때문에 단어들을 합친 문장의 의미를 파악하기 어렵다는 한계점을 가지고 있다.
• 반면에 Tree RNN은 최종벡터에만 중점을 두는 것이 아닌 관계에 집중하는 구조이다.
• 하지만 Tree RNN은 가중치(W)가 모든 노드에서 동일하다는 단점을 가지기 때문에 고차원적 구성이나 긴 문장을 적절하게 반영하지 못한다. 또한 인풋 단어 사이의 상호작용이 없고 조합 함수가 모든 경우에 대해서 동일하기 때문에 다양성 또한 떨어진다.
• 이러한 단점을 보완하기 위해 고안한 모델이 Syntactically-United RNN 입니다. 이전과 다르게 모든 조합에서 사용했던 행렬(W)를 다르게 설정한다는 것이다. 하지만 학습시간이 길어졌다는 단점이 생겼다.
• 기존의 감성분석 모델에서는 조롱이 섞인 문장의 경우, 감성을 잘못 찾는다는 경우가 많았다. 이러한 문제를 해결하기 위해 제시된 모델이 RNTN이다.
• RNTN의 핵심은 행렬의 계산이 아닌 텐서(3차원)으로 연산을 진행하면서 정보의 양은 유지한 채 파라미터를 줄여서 연산속도를 빠르게 만들었습니다.

투빅스 14기 한유진

• 최종벡터 파악에 집중하고있어 단어들을 합친 문장 의미파악에 한계가 있는 RNN과 달리 관계에 집중하고자 한것이 Tree RNN입니다. Tree RNN이 성능이 나쁘지 않지만 모든 노드에서 가중치가 동일하다는 단점이 있어 언어가 복잡하고 긴 문장일때는 적절하지 않습니다.
• Syntactically-United RNN은 모든 노드에서의 가중치 행렬을 다르게 설정하여 Tree RNN의 단점을 극복하였습니다. 하지만, 학습시간이 오래걸려 PCFG방식이 등장하였습니다. 한 문장에 k개의 문장 구조를 만들고 적절한 문장 구조를 바탕으로 학습을 진행합니다.
• Tree RNN은 GPU연산이 힘들고, 동일하게 병렬적 연산 진행이 불가, 데이터 구축의 어려움 때문에 현실적으로 사용하기 어렵습니다.

Tree RNN과 이어 발전된 모델들을 잘 설명해주셔서 좋았습니다. 좋은 강의감사합니다!

투빅스 15기 이수민

• TreeRNN을 활용하여 compositionality를 표현, 즉 구조적으로 문장을 나누고 그 단어들의 조합이 나타내는 의미를 파악하여 전체 문장의 의미를 알아내는 것에 대한 강의였습니다.
• 다만 Simple Tree RNN을 사용하면 고차 구성 및 긴 문장에 대한 처리가 어렵고 인풋 단어 간 상호작용이 없으며, 조합 함수가 동일하기 떄문에 다양성이 떨어진다는 단점이 있습니다.
• 이러한 Simple RNN의 한계점을 개선한 Syntactically-United RNN은 모든 조합에서 똑같이 사용되었던 행렬 W를 각기 다르게 설정한다는 점에서 차이를 보입니다.
• Matrix-Vector RNN은 단어의 벡터 정보만 가지고 있는 것이 아니라 단어 matrix를 통해 정보의 손실을 줄이는 방법을 활용하여 문장의 의미를 더 잘 파악할 수 있도록 했습니다.
• 이후 Matrix-Vector RNN을 개선한 RNTN 모델에서는 행렬 연산 대신 tensor 연산을 진행하면서 동일한 정보의 양에 대해서 연산 속도 및 cost를 줄일 수 있게 되었습니다.

투빅스 15기 김동현

• Structure prediction with simple Tree RNN:
  vector space에 word vector를 뿌려놓으면서, 그냥 바로 같은 vector space에 넣습니다. 그럼 recursive한 구조는 tree structure를 구성해주어야 한다는 어려움이 따르고, rnn을 통한 구조는 phrase를 prefix context없이 잡아내지도 못하고, 마지막 결과 vector가 마지막 단어에 좌우된다는 단점이 있습니다.

• Syntactically-United RNN:
  기본적인 syntactic structure를 위해서는 symbolic Context-Free Grammar (CFG) backbone이 좋았습니다. 그리고 discrete syntactic category를 사용했고, 다른 syntactic environment에서는 다른 composition matrix를 사용하게 해주는 것이 훨씬 좋은 결과를 내었습니다. 그리고 더 좋은 semantic의 결과를 볼 수 있었습니다.

• Recursion Neural Tensor Network RNTN:
  일반적으로 sentiment analysis는 단어들을 잘 뽑아내는 것으로 잘 동작합니다. 긴 document에 대해서도 detection accuracy는 90% 수준으로 높습니다. 하지만, the movie should have been funnier and more entertaining같은 문장은 negative meaning이지만, funnier, entertaining과 같은 단어들만 본다면 positive하게 분류할 가능성이 있습니다. hard negation과 같은 문장들은 부정확하여 이를 해결하기 위해 더 좋은 모델이 필요했습니다.
  attention을 뽑을 때 1 x n, n x n, n x 1의 vector 두개 (주로 단어들의 vector)와 matrix 하나를 중간에 끼워서 쓰는데, 이걸 다르게 생각해서 matrix가 아닌 3-dim tensor를 끼워서 사용합니다. 그래서 많은 정보를 잘 interact해서 잡아내도록 합니다.

투빅스 15기 조효원

• 언어의 단위는 단어만 있는 것이 아니라, 직접적인 관계를 맺는 하나의 덩어리인 constituent 단위가 존재한다. 통사론의 기본 목적은 이런 문장 내 구성을 찾아내는 것이며, 언어 트리 형태로 표현한다.
• 이러한 아이디어에서 출발한 것이 TreeRNN이다. 이는 언어의 구조를 고려한 모델로, 관계에 집중하는 모델이다.
• TReeRNN은 모든 노드에서 가중치가 동일하다는 단점이 있다. 이 때문에 긴 문장에 잘 대응하지 못한다.
• Synatically-Uniterd RNN은 가중치를 다르게 설정함으로써 TreeRNN의 단점을 보완한다.
• 하지만 언급된 모든 모델들은 사실상 연산이 힘들기 때문에 사용되지 않는다.

투빅스 15기 조준혁

• Tree RNN은 단어의 의미를 알고 단어의 결합 방식을 안다는 전제하에 진행됩니다. Simple Tree RNN은 성능이 낮지는 않지만, 모든 노드가 동일한 Weight를 가진다는 단점이 있습니다. 언어가 복잡하고 고차 구성, 긴 문장이면 적절한 방식이 아닙니다.
• Syntactically-United RNN은 각 노드의 Weight를 다르게 가져가며 앞서 언급한 Simple Tree RNN의 단점을 극복합니다. 하지만 각 Weight를 찾아줘야하기에 속도가 늦어집니다.
• 여러 감성이 복합적으로 담긴 경우 문장 내에 감성을 잘 찾아내지 못하는 단점이 MV-RNN에서도 발견되며 이를 극복하기 위한 RNTN 모델이 제안되었습니다. 행렬의 계산이 아닌 3차원 Tensor의 연산을 진행하며 정보의 양은 동일하게 가져가되 파라미터를 줄여 연산 속도를 줄이는 것입니다.

투빅스 14기 이정은

• 기존 RNN은 최종 벡터를 파악하는 데에 중점을 두고 있기 때문에 이전 정보가 손실되고 의미 파악에 한계가 있습니다. Tree RNN은 최종 벡터가 아닌 전체 관계에 집중한 구조로, 의미 파악에 있어 더 유용합니다.
• Tree RNN은 가중치가 모든 노드에서 동일하게 사용되어 언어가 복잡하고 문장이 길어질수록 의미를 제대로 잡지 못하며, 또한 input 단어와 상호작용이 없어 의미의 다양성도 적게 나타난다는 단점을 가집니다.
• Syntactically-united RNN은 위 단점을 해결하기 위해 각각 다른 가중치 행렬을 사용합니다. 이는 가중치를 계속 새로 계산해야해서 학습 속도가 오래 걸리는 문제를 가집니다. 특히 감정분석에서는 비꼬는 문장의 감성을 잘못 판단하는 경우가 발생합니다.
• 이 단점을 보완하기 위해 나온 RNTN은 행렬 연산이 아닌 3차원 텐서 연산을 진행하여 동일한 정보를 가지지만 파라미터를 줄여 연산 속도를 향상시킵니다.
• 다만, Tree RNN은 GPU 연산이 불가능하고 데이터 구축에 어려움이 있어 현실적으로 사용하기에는 어려움이 있습니다.

처음 접해보는 Tree RNN에 대해 알 수 있던 강의였습니다. 감사합니다! : )

투빅스 13기 이혜민
유용한 강의 잘 들었습니다 :)

• RNN의 단어들을 합친 문장의 의미를 파악하는데에는 한계를 극복하는 마지막에 집중하는 것이 아닌 관계에 집중하고 있는 구조인 Tree RNN 구조
• Tree RNN을 진행하기 위해서는 첫째로 단어의 의미를 알고 있어야하고, 둘째로 단어들이 결합하는 방식에 대해서 알아야 합니다. 또한 부모 벡터를 구할 때 모두 같은 W를 사용한다는 점이 있습니다. score는 조합할 단어를 선택할 때 반영하는 값으로 단어를 선택하는 기준으로 해당 단어가 얼마나 말이 되는지를 평가합니다.
• 모든 조합에서 똑같이 사용했던 행렬W를 각기 다르게 설정하는 Syntactically-United RNN은 각 matrix를 찾아야하기 때문에 시간이 오래 걸리게 됩니다.