태그 목록

I'm alive!

두 달만의 포스팅이다. 채용전형 때문에 바빴다. 결국 원하는 일을 할 수 있게 되어서 기쁘고 또 뽑아주셔서 감사하다는 마음이 크다.

어제
·
0개의 댓글

Quantization 101

edgde device에는 gpu가 없는 경우가 많다. cpu는 int8을 활용하는데 cpu에 모델을 실으려면 모델이 가진 자료형을 조작해야 한다. 이 과정을 quantization이라고 한다. 세상에 없던 기술은 아니고 이미지를 압축하는 원리를 활용했다.

2022년 5월 4일
·
0개의 댓글

CNN with TF low level

tf.keras와 tf.nn에 같은 기능을 하는 layer를 구현해놨다. low level에서는 tf.nn이 돌아갈 거라고 생각은 했지만 그러려니 하면서 넘겨왔다. 그러다 소스코드를 봤는데 있어야 되나 싶은 조건문들이 많이 붙어있었고 이걸 걷어내고 싶었다.

2022년 5월 4일
·
0개의 댓글

Knowledge Distillation

모델이 발전할수록 모델이 요구하는 메모리와 용량이 커진다. 실시간으로 응답해야 하거나 개인정보처럼 민감한 정보를 처리하는 경우라면 반드시 온디바이스에서 처리해야 한다. 문제는 온디바이스의 메모리와 용량은 서버만큼 넉넉하지 않다.

2022년 4월 18일
·
0개의 댓글

Class Activation Mapping

수능문제를 풀 때 과목을 넘나들면서 묻는 문제유형이 있다. "글쓴이(화자)의 의도로 올바른 것은?" 다른 사람의 의도를 알고 싶어하는 건 인간의 본능인 것 같다. 요즘은 사람속 뿐만 아니라 흔히들 블랙박스라고 부르는 머신러닝 model의 속도 알고 싶어한다.

2022년 4월 3일
·
0개의 댓글

Decoupled Weight Decay

"L2 regularization과 weight decay는 같다." 많은 자료에서 이렇게 소개한다. tensorflow와 pytorch에서도 두 가지를 혼용해서 구현하고 있다. 여기에 그렇지 않다고 주장한 연구자들이 나왔다.

2022년 3월 4일
·
0개의 댓글

SGDR

모델을 generalize하는데 많은 시간이 들어간다. 좀 다른 말로 overfitting을 막는 일이다. 특히 optimizer로 해결하는 방법에는 L2 regularization, weight decay가 있다고 알려져 있지만 잘 쓰기란 쉽지 않다.

2022년 2월 28일
·
0개의 댓글

DenseNet

ResNet에서는 degradation을 identity mapping으로 해결하면서 gradient flow를 원활하게 하면 layer를 더 쌓으면서 성능향상도 기대할 수 있다는 점을 밝혔다. 그러면 극단적으로 모든 layer를 mapping하면 어떻게 될까?

2022년 1월 31일
·
0개의 댓글

Triplet Loss

그동안 분류과제에서 loss function은 주로 softmax를 기반으로 한 cross entorpy를 썼다. 현실에서는 원하는 만큼의 data를 확보하는 게 어려울 수도 있고 같은 category안에 있는 data를 분류해야 할 때도 있다.

2022년 1월 19일
·
0개의 댓글

Selection sort

Sorting을 공부하다보면 어떤 상황에서는 뭘써야 하는지 알게되면서 더 큰 알고리즘을 만들 때 도움이 될 거라고 기대하면서 몇가지를 정리하려고 한다. 그래서 우리가 알아야 하는 것은 크게 3가지다. 알고리즘, 구현, best and worst case

2022년 1월 19일
·
0개의 댓글

Bubble sort

Sorting을 공부하다보면 어떤 상황에서는 뭘 써야 하는지 알게되면서 더 큰 알고리즘을 만들 때 도움이 될 거라고 기대하면서 몇가지를 정리하려고 한다. 그래서 우리가 알아야 하는 것은 크게 3가지다. 알고리즘, 구현, best and worst case

2022년 1월 19일
·
0개의 댓글

YOLOv2

대표적인 1 stage detector의 SOTA model이다. bbox와 object classfication을 한 방에 예측하고 있어서 2 stage detector보다 간단한 구조를 가진다. 그래서 비교적으로 빠르다.

2022년 1월 12일
·
0개의 댓글

RoI Pooling

Backbone과 RPN으로부터 넘어오는 data를 받아서 최종적으로 bbox를 그리고 bbox 안에 있는 object의 class를 예측하는 모듈이다. 2 stage detector, 1 stage detector 모두에 두루 쓰인다.

2022년 1월 5일
·
0개의 댓글

Translation Invariant

Detector 관련 논문을 읽다가 보면 가끔 만날 수 있다. 내가 알고 있는 단어들을 합쳐도 "변화가 없다" 정도로 파악할 수 있을 뿐 구체적으로 어떤 변화를 말하는 건지 모르겠다. 앞뒤로 문맥을 좀 파악해보려고 해도 오리무중이다.

2022년 1월 3일
·
0개의 댓글

Region Proposal Network

classifier를 detector로 만들어주는 핵심구조다. Faster R-CNN의 연구자들은 기존에 쓰던 selective search대신 region proposal network를 제안했다. 이후의 detector들은 `RPN`을 조금씩 변형해서 쓰고 있다.

2022년 1월 2일
·
0개의 댓글

Stack and Queue

Since almost all the programming language doesn't have these structures user has to implement it when needed. So we call it abstract data structure.

2022년 1월 2일
·
0개의 댓글

Histogram Equalization

각 픽셀의 밝기나 색깔이 얼마나 강한지 히스토그램으로 분석해서 너무 강한 픽셀은 0-255 사이의 값으로 평준화 해주는 거다. gray scale 이미지에서는 어느 정도로 밝은지, rgb이미지에서는 어떤 색이 강한지 알아볼 때도 쓸 수 있을 것 같다.

2021년 12월 29일
·
0개의 댓글

Entropy

열역학에서 많이 쓰이지만 Claude Shannon이 정보이론을 적립하면서 정보량을 계량하는데 쓰인다. 결론부터 말하면 entropy는 자주 등장하지 않는 정보일수록, 그러니까 일어날 확률이 낮은 사건일수록 정보량은 커진다.

2021년 12월 26일
·
0개의 댓글

Dec.23.21

Big O Notation에 대한 이야기를 할 거다. 이건 알고리즘이 얼마나 효율적인지 가늠하는 지표로 쓰인다. 일반적으로 worst case를 상정하고 계산한다.

2021년 12월 23일
·
0개의 댓글

Derivative of conv layer

MLP에서 backward pass를 리뷰한 것을 활용해서 conv lyaer가 내부적으로는 어떻게 돌아가는지 알아보면 좋을 것 같다는 생각에서 시작했다. 레쓰고.

2021년 12월 22일
·
0개의 댓글