# Neural Networks
Neural Collaborative Filtering
ABSTRACT 해당 연구에서는 추천 시스템의 가장 큰 문제인 collaborative filtering을 해결하려고 하였다. collaborative filtering은 유저와 항목 기능 간 상호작용을 모델링할 때, 행렬 분해(matrix fatorization)에 의존하고 유저와 항목의 잠재 기능에 내적을 적용한다. 이 내적을 데이터에서 임의의 함수를 학습할 수 있는 뉴럴 구조로 대체한, NCF(Neural network based Collaborative Filtering)라는 프레임워크를 제시하였다. NCF는 포괄적이고, 일반적인 행렬 분해를 표현할 수 있다고 하였다. INTRODUCTION 개인화 된 추천 시스템의 핵심은 과거 상호작용을 기반으로 항목에 대한 사용자의 선호도를 모델링하는 것이다(collabrative filtering). 다양한 collabrative filtering 기술 중 유저와 항목을 잠재적 특징의 벡터를 사용하여 공유 잠재 공간에 투영하
Neural Network-based Graph Embedding for Cross-Platform Binary Code Similarity Detection
To be fair, I am not really great with Neural Networks. This paper was difficult to understand because I do not know much about Neural Networks. Basic Idea? Binary executables are everywhere. The problem is that we can't really read binary easily. For obvious reasons, vendors do not post their source code with the binary. They even strip the symbols to make it difficult to dissassemble the executable. How should we treat these binaries? Firmware made by vendors often use libraries with k
[HUFSTUDY] 인공신경망
+) 코드잇 강의 바로가기 > 본 정리내용은 코드잇 강의를 공부하며 함께 정리한 내용입니다! 더 정확하고 자세한 내용을 공부하기 위해서는 "코드잇 머신러닝 실전 강의를 참고해주세요!" Artificial Neural Networks ( 인공신경망 ) > 인공지능 이란? 기계, 또는 프로그램을 인간처럼 행동하거나 생각하게 만들어 다양한 인간의 작업을 모방하여 처리하여 만들 수 있는 기술을 뜻한다. 인공지능은 Neuron의 영감을 받아 사람의 뇌와 신경계가 어떻게 작동하는지 알아내어, 비슷한 연산방식(Linear function + Activation function)을 이용하여 만든 알고리즘을 인공 신경망, 영어로는 Artificial Neural Network라고한다 _%20Photo.jpeg)
Training Neural Network
Training Neural Network Neural Networks 1. QnA 신경망 학습 과정 순전파 입력층 - 은닉층 - 출력층 가중합, 활성화 함수 반복적 시행 손실함수 순전파 -> 예측값 - 타겟값 차이 손실함수 ex)케라스 기준 회귀 : mse 이중 분류 : binary_crossentropy 다중 분류 : categorical_crossentropy(원핫 001 010 100), sparsecategoricalcrossentropy(정수형 0 1 2) 역전파 손실함수 출력층 -> 입력측 손실 줄이는 방향으로 가중치 업데이트 -> 경사하강법 역전파 경사하강법(GD) 가중치 수정 방향 결정 손실함수 미분값(
Artificial Neural Network
🗝 Keyword Warm-up 퍼셉트론(Percepron)이란? : 인간의 신경세포(뉴런)을 모델링 해 기계를 학습하는 방법 (1958) XOR 문제? 예시 : 배타적 논리합 - 기호 학습 ex) 물고기의 사냥 인풋: 통통함(1), 난이도(1_쉬움) => 아웃풋: 사냥개시(0) 사냥감이 통통하고, 난이도도 쉽다면 당연히 사냥개시(1)이겠다고 생각하겠지만 실제로는 미끼일 수 있으니 사냥하면 안됨 => 이론적으로 당연한 상황에서 실제로는 그렇지 않은 경우가 많음 퍼셉트론을 어떤 형태로 개선? 이란? > A . 신경망 학습의 방법으로 기계를 학습하는 방법이다. 신경망학습이란, 인풋에 가중치를 부여하여 연산한 결과를 출력하는 방법인데, 결과의 학습이 좋았다면 가중치를 늘리고, 결과의 학습이 안좋았다면 가중치를 낮춰 결과의 정확도를 높인다. > Q . XOR 문제는 무엇이며 어떤 문제가 있을까요? > A . XOR 문제는 이론적으로 당연한 상황에서 실제로는 그렇지 못한 경우가 있다는 수학적 증명이다. > Q . 퍼센트론의 한계를 어떤 형태로 개선하게 되었을까요? > A . 다층 신경망과 역전파( backpropagation )으로 개선하였다. layer를 늘려 학습의 경우를 증가시켰다. 역전파를
😄 Lecture 04 | Introduction to Neural Networks
본 글은 Hierachical Structure의 글쓰기 방식으로, 글의 전체적인 맥락을 파악하기 쉽도록 작성되었습니다. > 또한 본 글은 CSF(Curation Service for Facilitation)로 인용된(참조된) 모든 출처는 생략합니다. 1. Introduction to Neural Networks 1.1 CONTENTS |Velog|Lecture|Description|Video|Slide|Pages| |--|--|--|--|--|--| |작성중|Lecture01| Introduction to Convolutional Neural Networks for Visual Recognition | [video](https://www.youtube.com/watch?v=vT1JzLTH4G4&list=PLC1qU-LWwrF64f4QKQT-Vg5Wr4qEE1
[Neural Networks and Deep Learning] 1. Introduction to Deep Learning
출처: coursera https://www.coursera.org/learn/neural-networks-deep-learning --- What is a Neural Network? 출처: https://research.aimultiple.com/wp-content/uploads/2017/08/neural-network.png Every input layer feature is interconnected with every hidden layer feature. Supervised Learn
Stanford University CS231n - Lecture 4 :: Backpropagation and Neural Networks
Review Last lecture (Lecture 3) 모델을 분류하는 방법 1) scores function : w와 x의 값으로 노드의 score 값을 연산 2) SVM loss : score function을 통해서 각 값이 얼마나 특정 클래스에 대해 적합한 결과를 제시하는지 SVM loss function을 통해서 구할 수 있었습니다. 3) 최종 손실 L : data loss(SVM loss혹은 다른 손실함수)의 값과 regularization 값의 합으로 총 손실 값을 의미합니다. 이렇게 Regularization 항을 더해주는 방식은 통해 민감성을 떨어뜨리면 모델을 단순화 시켜 일반화할 수
1.1 Artificial intelligence, machine learning and deep learning
Chap 1 What is deep learning? > High level definitions of fundamental concepts > Timeline of the development of machine learning > Key factors behind deep learning's rising popularity and future potential 1.1.1 AI A concise definition of the field would be as follows: **the effort to automate intellectual tasks nor
[코드 리뷰] Over-the-Air Deep Learning Based Radio Signal Classification
지난 번에 진행했던 논문 내용 리뷰에 이어서 이번에는 간단히 코드를 리뷰해보려고 한다. 써있는 글을 번역해가며 내용을 정리했던 논문 리뷰와는 달리, 이번 코드 리뷰는 reference 코드를 찾아 알게 된 내용을 내 방식대로 정리한 것이기 때문에 어색하거나 틀린 내용이 있을 수 있다. 이를 감안하고 보면 좋을 것 같고, 읽는 분들로 하여금 조금이나마 이해에 도움이 되었으면 좋겠다. 본 포스팅에서 다룰 코드는 논문에서 언급된 dataset 이 어떤 방식으로 적용되는지 까지이다. Reference로 참고할 코드를 찾기 위해 paperswithcode에서 해당 논문을
02-1. Neural Networks
Neural Network란? In Wikipedia... 시작은 뉴런을 모방했을 지도 몰라도, 요즘에 딥러닝에 사용되는 인공신경망은 다른 형태를 가짐 Neural Network의 수학적 정의 > Neural Networks are function approximators that stack affine transformations followed by nonlinear transformations. 연산이 반복해서 이루어짐! Linear Neural Networks 정의
AI 부트캠프 S4-WEEK1 1일차
S4-WEEK1 신경망 기본 원리 신경망의 학습 역전파 실전 프레임워크 Warm-up : 일반인을 위한 딥러닝 영상 feat.역사 (0-15분까지만 시청) 퍼셉트론(Perceptron) XOR 문제 다층 퍼셉트론(Multi-Layered Perceptron) 역 전파법(Backpropagation) Warm-up : 신경망으로 Linear Regression (03:25~08:50까지) Neural Networks by Analogy with Linear Regression
[논문 리뷰] Over-the-Air Deep Learning Based Radio Signal Classification - 2편
Dataset Generation Approach 24개의 다른 analog, digital modulator들이 광범위의 single carrier modulation scheme들을 포괄하는데 사용된다. 또한 저자는 여러 개의 propagation scenario들을 고려했다. 첫 번째로는 아래의 그림과 같은 model로부터 얻은 여러 개의 simulated wireless channel들이다. > Dataset 신호 생성 및 synthetic channel 손상 modeling을 위한 system. System-for-dataset-signal-generation 두 번째로는 아래 그림의 clean signa
[논문 리뷰] Over-the-Air Deep Learning Based Radio Signal Classification - 1편
Abstract 본 논문은 radio communication 신호들을 위한 deep learning 기반 radio signal classification 성능에 대해 연구를 진행하였다. Baseline method로는 gradient tree classification과 higher order moments를 사용하였고, 다양한 구성과 channel impairments(손상)에 걸쳐 두 접근 방법 간의 성능을 비교했다. 또한 carrier frequency offset, symbol rate, multipath fading의 영향을 simulation으로 확인했고, software radios를 사용하여 radio classification performance의 over-the-air measurement를 수행한 다음, 둘에 대한 performance와 training strategy를 비교했다. 마지막으로, 남아있는 problem들과 이러한 기술들을 사용하기 위한