Attention Score: dot-product attention(Luong attention)을 예로 들면, 디코더의 현재 시점 t의 hidden state $s_t$를 전치(transpose)한 $s_t^T$와 인코더의 i번째 hidden state $h_i$를

https://wikidocs.net/62306합성곱 신경망은 다층 퍼셉트론을 사용할 때보다 훨씬 적은 수의 가중치를 사용하며 공간적 구조 정보를 보존한다는 특징이 있다. 합성곱 신경망의 편향합성곱 신경망에도 편향(bias)를 당연히 추가할 수 있다. 만약,

자연어 문장을 생성할 때 동어 반복 문제를 해결하는 방법으로 알려진 것은n-gram penalty와 함께 top-k sampling, top-p sampling 등이 있다. 이 중 후자 2가지에 대해서 살펴본다. 일반적으로 자연어 문장을 생성할 때는 greedy sea

마지막 배치를 버리려면 drop_last=True를 해주면 됩니다. 이는 다른 미니 배치보다 개수가 적은 마지막 배치를 경사 하강법에 사용하여 마지막 배치가 상대적으로 과대 평가되는 현상을 막아줍니다.Inference를 할 때는 with torch.no_grad()를

두 함수의 차이를 이해하기 위해서는 contiguous의 개념을 이해해야 한다.contiguous 개념 완벽 정리:https://jimmy-ai.tistory.com/122이걸 보고 나면 두 함수가 무슨 차이가 있는지를 이해할 수 있다.https://

https://wikidocs.net/60572F.cross_entropy는 비용 함수에 소프트맥스 함수까지 포함하고 있음을 기억하고 있어야 구현 시 혼동하지 않습니다.

\*: element-wise multiplication

https://pytorch.org/docs/stable/generated/torch.Tensor.scatter\_.html

를 하면 결과가 정상적으로 출력되는데여기서 2번째 argument에서 comma를 지우면 에러가 난다.int의 tuple 형식으로 넣어야되고 int 자체를 넣지 말라고 한다. 토치...어려움....

미분값 printtensor.squeeze() : shape가 1인 부분을 없애줌. (A x B x 1 x C x 1) 형태의 텐서에서 (A x B x C) 형태로 만들어 주는 것. 원하는 dimension 위치를 따로 선택하면, 해당 위치의 1만 삭제가 가능tenso

rebase: base를 새로 만든다. 기존에 공동 조상 이후에 64개의 commit이 있을 경우 64개의 commit과 conflict를 하나하나 다 보기 때문에 굉장히 힘들어진다. 그 사이에 commit이 많을 경우 rebase하지 말고 git pull해서 해결하기

df.to_csv('learning_target.txt', index=False, header=False, encoding='utf-8', doublequote=False,escapechar='"',quoting=csv.QUOTE_NONE) 를 했는데 해당 오류가 뜨면

주어진 코드는 initialize_weights라는 함수를 정의한 뒤, 이 함수를 활용하여 teacher 모델의 가중치(weight)와 편향(bias)을 초기화하는 과정입니다. 함수를 통해 모델의 각 레이어별로 특정 초기화 방법을 적용합니다.nn.Module.apply

.to(device)를 사용하는 것은 PyTorch에서 GPU 또는 CPU로 텐서를 이동시키는 방법 중 하나입니다. GPU를 사용할 수 있는 경우, 모델과 데이터를 GPU로 이동시켜 계산을 가속화할 수 있습니다. 그러나 언제 .to(device)를 사용해야 하는지와 언

조건을 여러 개 사용하여 DataFrame에서 원하는 행을 선택하는 방법은 다양합니다. Pandas에서는 여러 조건을 조합하기 위해 논리 연산자 & (AND), | (OR), ~ (NOT) 등을 사용할 수 있습니다.예를 들어, 'Age' 열이 25보다 크고 'City'

Pandas DataFrame에서 특정 값을 가진 행을 제외하는 방법은 여러 가지가 있습니다. 일반적으로는 조건을 사용하여 해당 값을 가진 행을 필터링하고 제외하는 방법이 가장 흔히 사용되는 방법입니다.예를 들어, 특정 값이 '제외하려는 값'과 일치하지 않는 행들만 선

DataFrame에서 특정 값을 찾는 데에는 반드시 for 루프를 사용할 필요는 없습니다. Pandas는 데이터를 검색하고 조작하는데 매우 강력하고 효율적인 도구를 제공합니다.DataFrame에서 특정 값을 찾는 방법은 여러 가지가 있으며, 다음과 같은 방법들이 있습니

parallel data의 align이 맞지 않아 source와 target 간의 개수 차이가 날 경우(pandas의 read_csv가 결측값을 잡아내지 못할 경우)파이썬 내장 함수인 f = open(file_path, 'r')을 써 보자.

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=siniphia&logNo=221764461342(1) Weighted Cross Entropy분류 문제의 손실함수를 설계할 때 단골로 써