# deepdaiv
GPT-4 Technical Report 정리 (현재 상황, 리포트 내용 정리, 읽으면서 있었던 Q&A)
먼저 상황 정리부터 해보자. > “OpenAI가 성능으로 GPT-4로 보여준 부분도 있지만 저는 MS와의 협력을 보여준 첫번째 사례라는 점이 제일 크다고 생각합니다. 현재 MS는 엔비디아(NVIDIA)와의 협력관계를 맺고 있으며 최신 딥러닝 전용 GPU인 H100을 제공받아 데이터센터를 짓고 있습니다. 불과 몇일 전에 Azure는 H100 VM을 공개했습니다. 이에 비해 딥러닝으로 특화되어 있다고 평가받는 Google Cloud는 감감무소식입니다. 즉 현재 OpenAI-MS-NVIDIA가 협력체제를 구축해 Google을 압박하고 있는 모양새입니다.” - 모두의 연구소, 이영빈 GPT 1에서 2에서 3에서 4까지 
Augmentation in NLP
참고 https://neptune.ai/blog/data-augmentation-nlp https://seewoo5.tistory.com/6 Back translation 구글 번역, 파파고 같은 걸로 넘겨서 해볼 수 있을 듯!! (시간 오래걸리긴 하겠다) https://jvvp.tistory.com/1106 (파파고 api 예제) Easy Data Augmentation https://github.com/jasonwei20/eda_nlp 이거 참고해서 하면 될 듯!! nltk wordnet 대신에 konlpy 등 써서 Synonym Replacement Random Insertion Random swap Random deletion
BERT 언어 모델을 이용한 감정 분석 시스템
https://manuscriptlink-society-file.s3-ap-northeast-1.amazonaws.com/kips/conference/2020fall/presentation/KIPS_C2020B0249.pdf 논문 선정 이유 daiv 팀원 분이 추천해주셨다! 이번 프로젝트 주제랑 다중/이중 분류만 빼면 거의 동일하다. Abstract 한국어 BERT 임베딩 모델 : KoBERT(SKBrain), KorBERT(ETRI), KR-BERT(서울대 신효필 교수팀) Dataset 네이버 영화평 말뭉치 확장 구축 공개된 20만개 데이터셋+12만개 추가 구축 데이터셋 -> 직접 라벨링 포함하여 총 27만개 데이터셋 활용! 긍정, 부정으로만 구분
(작성 중) Aspect-Based Sentiment Analysis와 Contrastive Learning
논문 이름 Improving Implicit Sentiment Learning via Local Sentiment Aggregation 개요 DeBERTa-V3-Large에 Empirical Sentiment Patterns(SP) 기반 Local Sentiment Aggregation Paradigm(LSA)를 추가함.
Contrastive Learning
개괄 1) Constrative Learning이란 입력 샘플간의 비교를 통해 학습하는 방법. self supervised learning 방법 중 하나로, 사전에 라벨을 구축하지 않는 판별 모델이다. label이 없기 때문에 데이터 구축 비용이 적게 든다는 점 외에도 보다 일반적인 feature representation과 새로운 class에 대한 대응 이 가능하다는 장점이 있다. 2) Representation Learning (1) 생성 모델 활용 방법 un supervised learning이기 때문에 데이터 구축 비용이 적게 듦. 저차원 학습을 표현하는 데 있어서 목적 함수가 보다 일반적임. (2) 판별 모델 활용 방법 계산 비용이 적고, 비교적 학습이 용이함.
파이썬 Basic Step 5. 비트연산 [<비트코딩 라이트📙> 문제 묻.따.따.]
코딩문제집 책 * 예제들을 "묻고. 따지면서. 따라풀기."* for team daiv. study [모두를 위한 쉽고 재미있는 인공지능 컨텐츠 project 🌊deep diav. instagram @deep.daiv](https://www.instagram.com/deep.daiv/) / blog deepdaiv.oopy.io [team daiv.🌸](https://w
파이썬 Basic Step 4. 연산자 [<비트코딩 라이트📙> 문제 묻.따.따.]
코딩문제집 책 * 예제들을 "묻고. 따지면서. 따라풀기."* for team daiv. study [모두를 위한 쉽고 재미있는 인공지능 컨텐츠 project 🌊deep diav. instagram @deep.daiv](https://www.instagram.com/deep.daiv/) / blog deepdaiv.oopy.io [team daiv.🌸](https://w
파이썬 Basic Step 3. 포맷 format [<비트코딩 라이트📙> 문제 묻.따.따.]
코딩문제집 책 * 예제들을 "묻고. 따지면서. 따라풀기."* for team daiv. study [모두를 위한 쉽고 재미있는 인공지능 컨텐츠 project 🌊deep diav. instagram @deep.daiv](https://www.instagram.com/deep.daiv/) / blog deepdaiv.oopy.io [team daiv.🌸](https://w
파이썬 Basic Step 2. 변수 Variable [<비트코딩 라이트📙> 문제 묻.따.따.]
코딩문제집 책 * 예제들을 "묻고. 따지면서. 따라풀기."* for team daiv. study [모두를 위한 쉽고 재미있는 인공지능 컨텐츠 project 🌊deep diav. instagram @deep.daiv](https://www.instagram.com/deep.daiv/) / blog deepdaiv.oopy.io [team daiv.🌸](https://w
파이썬 Basic Step 1. 출력문 print() [<비트코딩 라이트📙> 문제 묻.따.따.]
뭐든 출력해보고 결과를 확인해봐야 하는구나! > 코딩문제집 책 * 예제들을 "묻고. 따지면서. 따라풀기."* for team daiv. study [모두를 위한 쉽고 재미있는 인공지능 컨텐츠 project 🌊deep diav. instagram @deep.daiv](https://www.instagram.com/deep.daiv/) / blog deepdaiv.oopy.io [*