# Residual block

6개의 포스트
post-thumbnail

ResNet(Residual Network)

ResNet(Residual Network)은 딥 러닝 아키텍처의 한 종류로, 이미지 분류 및 다양한 컴퓨터 비전 태스크에서 매우 성공적으로 사용되는 모델 > Residual block이라고 불리는 구조를 사용하여 깊은 신경망을 학습 레이어를 하나씩 쌓는 대신, 기존의 레이어에 입력 데이터를 직접 더하는 형태로 네트워크를 구성 이렇게 함으로써 네트워크가 입력과 출력 사이의 잔여 함수를 학습하게 되는데, 이 잔여 함수를 학습하기가 원래의 입력을 직접 학습하는 것보다 더 쉬워 이러한 구조로 인해 그레디언트 소실 문제가 줄어들고, 매우 깊은 네트워크를 효과적으로 학습할 수 있게 됨 ![](https://velog.velcdn.com/images/qtly_u/post/90f50355-077a-4544-9b4

2023년 8월 30일
·
0개의 댓글
·
post-thumbnail

ResNet이란

ResNet 2015년에 개최된 ILSVRC에서 우승을 한 모델은 ResNet이다. 이 ResNet은 마이크로소프트에서 개발한 알고리즘이다. ResNet의 중요한 점은 2014년의 GoogLeNet이 22개 층으로 구성된 것에 비해, ResNet은 152개 층을 갖는다는 것이다. 1년 사이에 네트워크가 약 7배가 깊어진 것이다. 기존의 CNN 모델들은 네트워크가 깊어지면 성능이 좋아진다고 가정했기 때문에 모델을 깊게 만들려고 했다. 그러나 vanishing gradient나 exploding gradient가 발생하여 성능저하가 생겼는데, 이를 해결하기 위해 웨이트의 초기화를 적절히 설정하거나, batch normalization으로 정규화를 하는 방법

2022년 7월 5일
·
0개의 댓글
·
post-thumbnail

✨Case Studies, Practical Advices for Using ConvNets

LeNet-5 일종의 multi-level convolution. AlexNet AlexNet은 총 8개의 layer 중 5개가 convolution layer이다. 이전에 비해 뛰어난 성능 향상을 보였는데 여러가지 이유가 있겠지만 가장 큰 이유는 data set이 커졌기 때문이었다. FC는 freely connected다. **AlexNet은

2022년 6월 14일
·
0개의 댓글
·
post-thumbnail

Residual Block 간단 예시

Residual Block이란 Neural network들에 대해서 배우기 시작하며, 정보가 뉴럴네트워크의 각 층을 순차적으로 지난다는 점이 동물의 뇌와는 다르다고 생각했습니다. (https://commons.wikimedia.org/wiki/File:Exampleofadeepneural_network.png)" by BrunelloN. Licensed under CC BY-SA 4.0 International) 동물의 뇌에서 뉴런들의 연결은 좀 더 중구난방(?)으로 연결되어있어서 정보가 뉴런 층들을 순차적으로 지나지 않고 여기저기로 퍼지는 구조이죠 ![](https://velog.

2022년 6월 11일
·
1개의 댓글
·
post-thumbnail

[Computer Vision] EDSR

EDSR "Enhanced Deep Residual Networks for Single Image Super-Resolution" EDSR 모델은 NTIRE 2017 SISR challenge에서 우승한 서울대 팀이 제안한 모델로써, 총 2개의 새로운 네트워크 구조(EDSR, MDSR)를 제안했는데 2개의 네트워크 모두 상당히 좋은 성능을 보여 주었음. 서울대 팀은 2016년 말에 Twitter 연구팀에서 제안했던 SRResNet이라는 네트워크 구조에서 불필요한 요소(ex : Batch Normalizaion)들을 제거하고, depth를 더 깊이 쌓음으로써 네트워크의 성능을 더욱 끌어올릴 수 있었

2021년 6월 8일
·
0개의 댓글
·
post-thumbnail

[CS224n] Lecture 11 - ConvNets for NLP

작성자 : 투빅스 13기 이예진 > Contents Intro 1d Convolution for Text CNN for Classification 추가 & 정리 Deep CNN for Text 1. Intro 기존 RNN의 문제와 CNN 기존 RNN계열의 모델은 the, of,..등의 필요 없는 단어들을 포함하고 마지막 단어(벡터)의 영향을 많이 받는 문제가 있었습니다. 이를 해결하고자 CNN의 개념을 text에도 도입했습니다. ![](https://images.velog.io/images/tobigs-text1314/post/8c0d75c1

2021년 1월 18일
·
0개의 댓글
·