# DL

shinunjune

KeyPoints: - Positional encodeing free hierarchically structured Transformer encoder (resolution independent test/training performance, multiscale fea

tlqwkrk4471

⌜An Image Worth 16 x 16 Words : Transformers for Image Recognition At Scale⌟는 ViT(Vision Transformers)에 관한 논문이다.

tlqwkrk4471

⌜Attention Is All You Need⌟는 transformer에 관한 논문이다. transformer가 등장하기 이전의 sequence transduction model들은 RNN, LSTM, GRU 등 순환신경망에 의존하고 있었다. 이러한 sequence model은 근본적으로 time step에 따라 계산을 진행하는 순차적 특성을 갖고 있는...

yjoonjang

논문을 읽고 Transformer 이전 모델의 문제점부터, Transformer 모델의 구조에 관해 요약해보았습니다.

joel_lee

[!Important]+ Goals >- 기초 알고리즘의 개요 >- 기본적인 구현방법 >- 튜닝 방법 >[!info]+ Subject >- 기계학습 프로젝트에 관련된 모든 분 >- DL 구현을 시작하고 싶으신 분 > [!abstract]+ Curriculum > 1. 심층학습 실전 > 2. 심층학습 튜닝 > - 첨삭문제 심층학습 실전 심층학습 개요 ...

bpbpbp_yosep

군대에서 ML/DL 공부를 시작했다. 공부 기록 겸 복습을 위해 list를 적는다.밑바닥부터 시작하는 딥러닝 1, 2핸즈온 머신러닝2 (오렐리아 제롱 저) 22.10.14~22.12.10Neural Networks and Deep Learning by Michael A

orange_e7

💡 손실 함수에 손실 점수에 따라 가중치를 조절해주는 역할을 한다.손실 함수를 줄여나가면서 학습하는 방법은 어떤 옵티마이저를 사용하는 지에 따라 달라진다. ✔️ 종류 1. 경사하강법(Graient Descent) : 기울기가 0에 가까워지는 점을 찾는다.

orange_e7

💡 보스턴 하우징 데이터셋을 활용한 주택 가격 예측 ✔️ 보스턴 하우징 데이터 셋 케라스에 포함되어 있는 buston_housing 데이터를 이용해 주택 가격을 예측하는 회귀 문제를 구현할 수 있다. 우선 케라스에서 제공하는 boston_housing 데이터를 i

orange_e7

💡 파이썬으로 구현된 high-level deep learning API이다.high-level은 추상화 레벨이 높다는 것으로 딥러닝 모델에 적합하다.또한 쉬운 사용법과 간단한 문법, 빠른 설계가 가능하다.케라스는 위와 같이 x값 input되었을때,예측된 y값과 실제

orange_e7

💡 활성함수란? 입력 신호의 총합을 출력신호로 변환하는 함수. 활성화 함수에 따라 출력값이 결정된다. ✔️ 종류 Step Function(계단함수) y 값이 0에서 0.9 사이에서는 반응이 발생하지 않는다. y=1이 되었을 때 반응이 발생한다. 계단 함수를 위와

jx7789

딥러닝은 인공 신경망(Artificial Neural Networks, ANN)을 기반으로 한 머신러닝의 한 분야이다. 딥러닝 모델은 여러 층의 뉴런으로 구성되어 있으며, 이를 통해 복잡한 데이터에서 패턴을 학습하고 추출할 수 있다. 대표적인 딥러닝 모델로는 컨볼루션

nochesita

Forward-Forward 알고리즘을 구현해보자

aal2525

미분의 개념을 역전파 과정 중심으로

rooty1362

핀홀 카메라는 무엇일까? 핀홀 카메라는 렌즈를 사용하지 않고 작은 구멍을 통해 빛을 받아 들여 촬영하는 사진기이다. 현대의 카메라야 당연히 렌즈가 있지만, 이 핀홀 카메라를 통해 수학적으로 가장 간단한 모델링할

kimdodo

Pytorch 사용시 torchvision.transform 을 이용해서 여러 비전 관련 작업들을 수행한다. 여러 사람들이 다양한 데이터를 사용하고 이를 이용해 모델을 학습 시킨다.위와 같은 정규화 과정의 평균과 표준편차는 대부분이 사요한다. 그럼 이 정규화 코드는 무

rooty1362

왜 2d homography가 중요한가? 2020년 ECCV에 발표된 NeRF(Neural Radiance Fields)를 기점으로 3D Vision 분야는 어마어마한 주목을 받았다.3D Vision의 여러 연구를 살펴보면서 느낀 것은 카메라, 좌표계, 그리고 전통적인

ssom_d

awesome-deep-learning-papers2012년부터 2016년까지 발표된 논문 중 다양한 연구에 활용할 수 있는 획기적인 딥러닝 논문 100편을 정리한 깃허브 레포지토리입니다.링크텍스트Papers You Must Read (PYMR)고려대학교 DSBA 연구

rooty1362

본 포스트는 KAIST AI대학원 신진우 교수님(https://alinlab.kaist.ac.kr/index.html)의 AI602 강의를 참고하였습니다.정규화는 왜 필요한 것일까? 위와 같은 그림에서 unnormalized 상태라면 initial point가

cjkangme

한국어 요약 문제 자연어 처리 경진대회 참여 후기

yjoonjang

이번 look-alike 프로젝트를 위해 얼굴 인식 분야에서 높은 성능을 보이는 Arcface 모델을 사용하기로 결정했다.