# mlp
[ML Project] MLP Classification을 이용한 타이타닉 생존 분류 모델
💻 프로젝트 설명 타이타닉 데이터셋을 이용하여 MLP Classification을 통해 생존자 분류 모델을 만들어보고자 한다. > [데이터셋 출처] https://www.kaggle.com/competitions/titanic 📁 데이터셋 [데이터셋 구성] PassengerId: 탑승객 아이디 Survived: 생존 유무 Pclass: 등급 Name: 이름 Sex: 성별 Age: 나이 SibSp: 타이타닉에 탑승한 형제자매/배우자 수 Parch: 타이타닉에 탑승한 부모/자녀 수 Ticket: 티켓 번호 Fare: 요금 Cabin: 객실 번호 Embarked: 승선지 [EDA] 먼저 결측치를 조회해보았을 때 나이, 객실 번호, 탑승지 칼럼에 결측치가 존재했다. 
MLP based Recommender Systems Architecture [2022]
1. DIAG: A Deep Interaction-Attribute-Generation model for user-generated item recommendation 사용자 생성 항목 추천을 위한 딥 인터랙션-속성 생성 (DIAG) 이라는 새로운 모델 제안. 사용자 항목 상호 작용 관계, 사용자 항목 생성 관계 및 항목 속성 정보를 하나의 딥 러닝 프레임워크로 통합 사용자 아이템 생성 정보를 모델링하기 위한 새로운 아이템-아이템 열병합 생성 네트워크 설계 그래프 어텐션 네트워크를 채택하여 한 항목이 공동 생성된 항목에 미치는 적응적 영향을 고려하여 사용자 항목 생성 및 항목 속성 정보로부터 항목 특징 벡터를 학습 2. A Ranking Recommendation Algorithm Ba
MLP based Recommender Systems Architecture [2021]
1. Attention-based dynamic user preference modeling and nonlinear feature interaction learning for collaborative filtering recommendation 동적 사용자 선호도 모델링과 비선형 매칭 함수 학습을 사용하여 추천 성능을 향상시키는 새로운 CF 추천 방법을 제안 동적 사용자 선호도 모델링을 위해 attention network 사용. 비선형 매칭 함수 학습을 위해 기존 MF 모델 위에 단일 히든 레이어 신경망을 추가 동적 사용자 선호도 모델링: 2계층 신경망 네트워크를 사용하여 동적 사용자 선호도 모델링. 예측된 항목, 최근에 상호 작용한 이전 항목 및 상호 작용 시간을 고려하여 사용자 기본 설정 모델링에서 상호 작용된 각 항목의 기여 가중치를 추정 비선형 매칭 함수 학습: 비선형 매칭 함수 학습을 위한 기존 MF 모델 위에 단일 히든 레이어 신경망 추가. 몇 가
MLP based Recommender Systems [2018-2020]
MLP 기반 추천 시스템 논문 Model Architecture 모음입니다. 논문에 대한 간단 요약은 copilot을 통해 나온 결과이고 대략적으로 훑어보기 위한 용도입니다. 1. [2018] Outer Product-based Neural Collaborative Filtering 개인화된 순위 추천. ONCF (순서형 신경 협업 필터링) 라는 방법을 제안. ConvNCF라는 새로운 접근 방식을 도입. ConvNCF는 CNN (컨벌루션 신경망) 을 사용하여 사용자와 항목 임베딩 간의 상호 작용 함수를 학습 2. [2018] DeepCF: A Unified Framework of Representation Learning and Matching Function Learning in
딥러닝 기초 : 다층 레이어 사용이유와 오차역전파 관련
놓치기 쉬운 인공지능 개념 위 링크와 같이 본 포스팅 내용을 참고하면 도움이 될 것 같다 해당 링크에서 작성한 내용보다 좀 더 기초적인, 추가적인 내용을 작성한다 0. 딥러닝 이란? 딥러닝은 데이터를 입력받으면 설정된 목표 TASK를 수행한다 이 때 설정된 목표를 1.파라미터(가중치) 2.목적함수 를 통해 수행하게 된다 어떤 파라미터를 사용하느냐에 따
[Dacon] 반도체 박막 두께 분석 경진대회
대회 설명 목적 : 반도체 공정 과정의 박막 결함 탐지를 위한 박막 두께 예측의 필요성. 문제 정의 : 파장에 따른 반사율 스펙트럼을 학습해 4개의 박막층 두께(layer1: 질화규소층, layer2: 이산화규소층, layer3: 질화규소층, layer4: 이산화규소층)를 예측. 기준 : 모델을 통해 예측한 4개 층의 두께와 실제 두께의 평균 절대 오차(MAE)가 얼마나 작은지를 놓고 모델의 성능을 판단. 데이터 설명 layer 1-4 : 박막의 두께 0 ~ 255 : 반사율 스펙트럼, 빛의 파장 등이 비식별화 된 데이터 박막의 두께에 영향을 미칠 수 있는 반사율 스펙트럼이나 빛의 파장 식별 수치들 데이터에 영향을 미칠 수 있는 변수들을 추려 데이터를 만든 과정은 dacon에
PyTorch 익히기 - Multi Layer Perceptron
PyTorch를 간단히 다루어본 적이 있는데, 앞으로의 연구에 익숙하게 활용하기 위해 PyTorch 내용을 정리해보려 한다. 대부분의 내용은 유튜브의 '모두를 위한 딥러닝 시즌2'를 참고하였다. 기본적인 딥러닝 내용과 파이썬 문법은 어느 정도 알고 있다고 가정하고, PyTorch 실습 내용 위주로 정리해두었다. !youtube[https://www.youtube.com/watch?v=KofAX-K4dk4&list=PLQ28Nx3M4JrhkqBVIXg-i5_CVVoS1UzAv&index=12] 간단한 설명이 포함된 실습 자료는 Github를 참조하자. 1. Percept
Perceptron
오늘 시험을 쳤는데, 조금 망한것같다 ㅋㅋㅋㅋㅋ 알고보니 Perceptron과 Backpropogation을 공부를 안하고 간게 아닌가;; 하.. 이번주에 빡세게 정리하고, 코드까지 돌려봐야겠다. Perceptron MLP 기존 Perceptron에서는 하나의 Activation Funtion이 사용되어, 출력층에서 Non-linearly Separate 데이터를 분류할수가 없었다. MLP에서는 Layer를 추가 (은닉층)하여 Deep learning을 만들어, 기존 데이터의 배열을 Linear하게 Transform한것이다. 
[번역]NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis
글쓴이의 당부 NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis 논문을 공부용으로 번역한 글입니다. 고작 학부 재학생 수준의 제멋대로인 번역으로 가독성은 별로 좋지 않습니다. 5절까지 번역되어 있습니다. 웬만하면 원문을 읽으시거나 유튜브에서 관련 동영상을 찾아보시길 권장드립니다. 추천 영상 : PR-302: NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis Abstract 우리는 입력 시점의 sparse set을 이용하는 continuous volumetric scene function을 학습하여, 복잡한 장면에 대한 새 시점을 합성하는 태스크(synthesizing novel niew)에 SOTA를 달성하는 새 방법을 제시한다. 우
[Paper & Code Review] (2017, WWW) Neural Collaborative Filtering
01. Introduction collaborative filtering은 아이템과 유저의 과거 interaction 정보를 바탕으로 모델링 되어지는 개인화된 추천시스템이다. 대표적인 collaborative filtering 모델은 Matrix Factorization 이다. 본 모델은 유저와 아이템의 interaction을 latent vector의 inner product 으로 학습된다. 그리고 만들어진 latent space의 경우는 유저와 아이템이 모두 공유를 하게된다. 그런데 MF 모델의 interaction function으로 사용되는 inner product은 단순한 선형 결합이기 때문에 유저와 아이템의 복잡한 interaction 정보를 capture하는 것이 매우 어렵다. 그래서 본 논문은 Data로 부터 interaction function을 학습하는 neural network 기반의 collaborative filtering 모델인 Ne
4주차 MLP 정리
Neural Networks > 뉴럴 네트워크는 수학적이고 비선형 연산이 반복적으로 일어나는 어떤 함수를 근사하는 것이다. Linear Neural Networks 최적화 변수에 대해서 미분값을 구한다. 그리고 최적화 변수를 반복적으로 갱신한다. Beyond Linear Neural Networks 위의 선형모델에서 층을 하나
2.7 (월) - DL basic(history, MLP, RNN, LSTM, transformer)
앞으로는 평일에는 간단하게 그날 배운 내용을 정리하고 부족한 부분은 주말을 이용해서 채워넣기로 했다. 논문 리뷰를 해야 해서 overview와 MLP 파트를 수강한 뒤, RNN 파트로 점프했다. 때문에 강의 순서와 학습 순서가 조금 달라졌다. Deep Learning basic overview definition tools key components data model loss function (regression) MSE (classification) CE KL divergence와 엔트로피, CE와의 관계 공부 (probability) MLE (대표적) algorithm(optimization) SGD Momentum NAG Adagrad Adadelta Rmsprop papers (특히 중요한 것
[DL-Basic 정리] 신경망(Neural Network)과 MLP
이 글은 부스트캠프 AI Tech 3기 강의를 듣고 정리한 글입니다. 딥러닝의 Key Component Data : 학습할 data Model : data 를 어떻게 변형(transform)할 것인가 Loss Function : model의 error를 정량화 하는 함수 Algorithm : loss를 어떻게 줄일지에 대한 방법 논문을 읽거나 모델을 분석할 때 이 4가지를 유의하면 좋다. --------- Neural Network란? function approximators 이다. 즉 임의의 함수에 근접하게 표현하기 위해 입력을 선형변환(가중치) + 비선형변환(활성화함수)로 변환시켜주는 함수이다. 신경망이 잘되는 이유 레퍼토리 옛날에는 "신경망은 사람의 뇌를 닮아서 잘된다" 라는 말이 있었지만 딱히 맞는 말은 아니다. 사람의
[Boostcamp AI Tech] DL Basic 1~2강
딥러닝 기본 이번 강에서는 딥러닝의 기본에 대하여 학습을 진행했다. 00. 학습 내용 Deep Learning에 대한 간단한 Preview에 대하여 학습 Multi-Layer Perceptron에 대하여 학습 01. Deep Learning Preview Deep Learning의 주요 요소 4가지는 다음과 같다. Data Deep Learning은 데이터를 기반한 문제 해결 방법이다. 예를 들어 우리가 고양이와 강아지를 분류하는 문제를 푼다고 하면 고양이와 강아지의 이미지가 필요할 것이고, 날씨를 예측하고자하면 과거의 날씨 정보가 필요할 것이다. 이렇듯 Deep Learning에서는 우리가 해결하고자 하는 문제에 적합한 Data가 필요하다. Model Deep Learning 에는 AlexNet, ResNet, Transformer, AutoEncoder, GAN 등 다양한 Model Archit
[D&A 운영진 딥러닝 스터디] 1주차 2차시
퍼셉트론 다수의 신호를 입력 받아 하나의 신호를 출력하는 것 신호가 흐른다/안 흐른다(1/0)으로 나뉜다. 인간의 뇌에 있는 뉴런(neuron)을 본떠 만듦(신호 전달) linear classifier 수행 > $$y = \left\{ \begin{matrix} 0& w1x1+w2x2 \le \theta\\ 1& w1x1+w2x2 > \theta \end{matrix}\right.$$ > > $\theta$를 $b$(편향, bias)로 치환 시, > $$y = \left\{ \begin{matrix} 0& w1x1+w2x
Neural Network with Pytorch #2
CNN Convolutional Neural Network MLP, CNN의 개념 및 학습 성능 비교 실험의 dataset으로 CIFAR 10을 사용했다. #2 CNN CNN의 수행 과정 
Neural Network with Pytorch #1
MLP Multi-layer perceptron CNN Convolutional Neural Network MLP, CNN의 개념 및 학습 성능 비교 실험의 dataset으로 CIFAR 10을 사용했다. #1 MLP 
다층 퍼셉트론(Multi-layer Perceptron, MLP)
NN(Neural Network) ->인공지능의 수학적 수식들이 우리 뇌의 뉴런으로 모사할 수 있기에 NN이라는 이름이 붙음 NN := Perceptron := 선형 분류기 := FeedForwardNetwork Activation function -> 주어진 신호를 0과 1로 만들어 내기 위한 함수 MLP -> Logistic regression units을 쌓아서 만들 수 있음 Backpropagation -> 역방향으로 오차를 전파시키면서 각층의 가중치를 업데이트하고 최적의 학습결과를 찾아가는 방법 Perceptron 입력층과 출력층 사이의 은닉층이 하나인 신경망을 의미함
LeNet 구현 (tf) 및 MLP와 비교
👨🏻💻 colab base (both CPU and GPU runtime types) LeNet 구현 & MLP, ConvNet 비교 Load Dataset : mnist > Downloading data from https://storage.googleapis.com/tensorflow/tf-keras-datasets/mnist.npz 11493376/11490434 [==============================] - 0s 0us/step > (60000, 28, 28) (60000,) (10000, 28, 28) (10000,) > (60000, 28, 28, 1) (60000,) (10000, 28, 28, 1) (10000,) Modeling MLP > Model: "sequential"
02-2. MLP (Multi Layer Perceptron)
이 글과 이어집니다! Multi Layer Perceptron 선형 변환은 층을 쌓아도 행렬곱 형태가 되어서, 다시 $Wx+b$형태가 된다. 따라서 Activation Function 등을 이용하여 비선형변환 ($p$)를 해주어야 한다. 다층 퍼셉트론 (MLP)는 은닉층마다 선형, 비선형 변환을 수행하는 다층의 인공 신경망을 의미한다. Loss function > ### Key Point