손실함수 Loss function == 비용함수 Cost function == 목적함수 Object function == 오차함수 error function == criterion 등등 다양한 명칭으로 불리지만 의미하는 것은 모두 같다.손실값 Loss는 model의 잘

SpinalNet paper(2022)Computer Vision분야의 분류 딥러닝 모델은 보통 feature extractor + classification으로 나뉜다.classification는 많은 파라미터를 가진다.CNN모델에서 파라미터 수가 가장 많은 부분이

~ingPCA : 고윳값 , 고유벡터를 이용한 선형변환t-SNE : 주로 시각화 , 비선형변환 , 원본의 분포를 보존하면서 새로운 차원으로 변환(KL divergence 최소화)UMAP : 비선형변환 , 국소적인구조 + 전체 구조를 모두 보존. 데이터의 개수가 많아도

여러 이미지를 train_data형식으로 만드는 방법폴더내 class별로 이미지가 나뉘어 있을 때한 폴더내에 이미지들이 섞여있을 때보통 파일이름에 label이 들어있거나 csv파일처럼 img파일이름과 label이 매핑된 파일이 있을 때 사용Fashion MNIST파일은

<데브코스 9주차 day1 선형회귀3 - 강창성 강사님>현실의 모든 데이터는 완벽할 수 없으므로 노이즈(시그마)가 껴있다.아래와 같은 손실함수 MSE를 Bias-Variance Decomposition하면 Bias^2 + Variance + noise로 나눌 수

ResNet에서 제기한 문제점은 layer가 깊은 모델은 train 성능이 낮아진다는 것임. (train데이터 조차도 이해 못함,overfitting과는 다른 문제\_)활성화 함수 tanh 나 sigmoid를 사용하면 VGP가 더 심해짐내 수준에서 수식으로 설명하기 어

원핫인코딩과 임베딩은 모두 범주형 변수를 처리하기 위한 방법이다. 1. 데이터가 충분히 많을 때(17만개 train + val + test) 임베딩을 사용하면 loss는 안정적으로 내려감 배달 시간 예측 2. 데이터가 적을 때 (train:1200 test:1400

행렬은 선형변환 행렬은 크기와 방향(고윳값 , 고유벡터)로 나눌 수 있음. 고윳값,고유벡터 (Eigen Value, Eigen Vector) 선형변환(A)를 할 때 크기만 변하고 방향이 변하지 않는 벡터 Eigen value & vector 특징 방향x , 크기

딥러닝은 행렬연산이 전부이다....pytorch 기반 grad 구하고 update하기방향성 비순환 그래프(Directed Acyclic Graph:DAG)의 잎(leave)은 입력 텐서이고, 뿌리(root)는 결과 텐서이다.Forward pass시 jacobain-ma

신경망의 하위층으로 진행될수록 그레디언트가 점점 작아지거나 커지는 것을 그레디언트 소실 혹은 폭주라고 부른다.이러한 현상이 일어나면 알고리즘은 발산하게 되며 그레디언트 폭주는 주로 순환신경망에서 일어난다.Foward와 backward시 신호가 양방향으로 적절히 흘러야

My AI Stratgy - 국민대 이재구 교수님Nvidia CEO : sw가 세상을 먹여살리고 있다. (2019년)하이퍼 스케일 모델에서 개인은 뭐하냐? -> 경량화같이 틈새시장을 노리자x만 있는 데이터는 분포 , 예로들면 7이라는 숫자 사진을학습하면 7이라는 숫자를

\-어느 논문에서 읽은 효율적인 신경망 설계의 3가지 방법 생각나면 수정!Deep & Efficiency하나의 Layer에 뉴런의 개수가 충분하면 아주 복잡한 함수도 모델링이 가능하다.하지만 같은 파라미터를 가질 때 얉은 신경망 보다 깊은 신경망이 훨씬 효율적이다.(+

프로젝트란 - 제한된 시간 , 한정된 자원 , 목표하는 일 제한된 시간 , 자원은 선택 불가 / 목표는 선택 가능프로젝트 방법론 : 워터폴 , 애자일이 기본 나머지 용어는 분야의 차이스크럼과 칸반 스크럼 : 다들 모여서 빠르게 문제점 찾기 칸반 보드 : Task단위를

업로드중..

윈도우는 git bash에서 실행깃허브과제 제출하기

[paper]An Image is Worth One Word(2022) - Textual Inversion의 후속 논문

DDIMsampler코드보통 ddim_sampler = DDIMSampler(model) 같이 model만 넘겨주는 듯또한 보통 (B H W C)의 이미지를 (B C H W)이미지로 변환 후 모델로 넘겨야함ddim_sampler 객체 생성 후 와 같이 바로 sample

ControlNet_canny2image 코드 분석 > from share import * import config > import cv2 import einops import gradio as gr import numpy as np import torch impo

모델의 VRAM 확인하기 2129MB => 2.23GB 생각보다 낮은 VRAM

개념 : 추상적 vs 추출적 1. 추출적 요약 (Extractive) 원문에서 중요한 핵심 문장 또는 단어를 몇 개 뽑아서 이들로 구성된 요약문 생성 방법 : TextRank(텍스트 랭크)알고리즘 [문장 임베딩 기반 텍스트 랭크(딥러닝을 이용한 자연어 처리 입문) ](