ML

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter1: 신경망 복습 신경망은 일종의 함수이다. 입력층 + 은닉층 + 출력층 요렇게 구할 수 있다 완전연결계층 - 인접하는 층의 모든 뉴련과 연결된 신경망, 완전...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter2: 자연어와 단어의 분산 표현 2.1 자연어 처리란 자연어(natural language): 사람들이 평소에 쓰는 말 자연어 처리(natural langua...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter3: word2vec 3.1 추론 기반 기법과 신경망 분포 가설(단어의 의미는 주변 단어에 의해 형성된다) -> 통계 기반 기법, 추론 기반 기법 / 단어의 ...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter4: word2vec 속도 개선 4.1 word2vec 개선(1) & 4.2 word2vec 개선(2) 앞 장에서 구현한 간단한 word2vec의 CBOW 모델...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter5: 순환 신경망(RNN) Feed Forward 신경망: 흐름이 단방향, 구성이 단순, 많은 문제 응용 가능 but 시계열 데이터의 패턴을 충분히 학습할 수 ...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter6: 게이트가 추가된 RNN 5장의 기본적인 RNN은 시계열 데이터에서 장기 의존 관계를 잘 학습할 수 없다는 문제점이 있다. -> 게이트가 추가된 RNN인 L...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter7: RNN을 사용한 문장 생성 7.1 언어 모델을 사용한 문장 생성 언어 모델: 지금까지 주어진 단어들에서 다음에 출현하는 단어의 확률분포를 출력 다음 단어를...

이 포스트는 "밑바닥부터 시작하는 딥러닝2 - 파이썬으로 직접 구현하며 배우는 순환 신경망과 자연어 처리 (한빛미디어, 사이토 고키 지음)" 책을 기반으로 공부해서 정리한 내용이다. Chapter8: 어텐션 8.1 어텐션의 구조 seq2seq의 근본적인 문제를 해결하고 크게 개선시킬 수 있는 어텐션 메커니즘 seq2seq의 문제점: encoder의 출력...

내용 및 사진 출처: WikiDocs 딥러닝을 이용한 자연어 처리 입문(https://wikidocs.net/book/2155) 기존의 seq2seq 모델의 한계 seq2seq 모델: encoder(입력 시퀀스를 하나의 벡터로 압축)-decoder 구조(압축된 벡터를 통해서 출력 시퀀스 생성) 입력 시퀀스의 정보가 일부 손실 -> 해결책으로 attenti...