현대 딥러닝 NLP 기술의 기초가 된 단어 임베딩의 시초, Word2Vec 논문 리뷰

부스트캠프 AI Tech NLP 트랙 캠퍼로 참여했던 지난 다섯 달에 대한 회고

다층 퍼셉트론(MLP)은 각 뉴런이 선형모델과 활성함수로 모두 연결된(fully connected) 구조 각 성분 $h_i$ 에 대응하는 가중치 행 $\\bold{W}\_i$ 필요 → $i$가 바뀐다면 사용되는 가중치 행도 바뀜합성곱(convolution) 연산은 이

DL은 확률론 기반의 기계학습 이론이 바탕기계학습에서 사용되는 손실함수(loss function)의 작동 원리는 데이터 공간을 통계적으로 해석하여 유도예시회귀 분석의 손실함수인 $L_2$-norm은 예측 오차의 분산을 가장 최소화하는 방향으로 학습 유도분류 문제의 손실

신경망을 수식으로 분해하기 위해서는, 우선 선형 모델을 먼저 이해해야 함 데이터 집합 $(\\bold{x}i,\\,y_i)^n{i=1}$을 통해,$\\underset{\\beta}{\\textrm{min}}\\,\\mathbb{E}\\parallel\\bold{y}-

미분이란 미분(differentiation)은 변수의 움직임에 따른 함수 값의 변화를 측정하기 위한 도구 $$ f'(x)=\underset{h\rightarrow0}{\textrm{lim}}\frac{f(x+h)-f(x)}{h} $$

벡터(vector): 숫자를 원소로 가지는 리스트(list) 또는 배열(array) 공간에서의 한 점을 나타냄 원점으로부터 해당 점의 상대적 위치를 표현숫자(스칼라)를 곱해주면 방향은 그대로, 길이만 변함 → $\\alpha\\bold{x}=\\alpha x_1

Pandas란 구조화된 데이터의 처리를 지원하는 파이썬 라이브러리 → 파이썬 계의 엑셀 Panel Data → pandas 고성능 array 계산 라이브러리인 numpy와 통합하여, 강력한 ‘스프레드시트’ 처리 기능 제공 인덱싱, 연산용 함수, 전처리 함수 등 제공

어떻게 매트릭스를 코드로 표현할 것인가다양한 매트릭스 계산을 어떻게 만들어낼 것인가?매우 큰 매트릭스에 대한 표현은 어떻게 할 것인가?인터프리터 언어인 파이썬에서 이러한 연산 처리 속도는 어떻게 해결할 것인가?Numpy파이썬의 고성능 과학 계산용 패키지매트릭스, 벡터와

필드를 쉼표(,)로 구분한 텍스트 파일엑셀 양식의 데이터를 프로그램에 상관없이 쓰기 위한 데이터 형식탭(TSV), 빈칸(SSV) 등으로 구분해서 만들기도 함통칭하여 character-separated values (CSV)라고도 부름엑셀에서는 ‘다른 이름 저장’ 기능으

예상 가능한 오류: 발생 여부를 사전에 인지할 수 있는 예외e.g., 사용자의 잘못된 입력, 파일 호출 시 파일 없음 등개발자가 반드시 명시적으로 정의해야 함예상 불가능한 오류: 인터프리터 과정에서 발생하는 예외e.g., 리스트 범위를 넘어가는 값의 호출, 정수를 0으

어떤 대상의 부분 혹은 조각e.g., 레고 블록, 벽돌, 자동차의 부품들프로그램은 작은 프로그램 조각들, 즉 모듈들을 모아 하나의 큰 프로그램을 개발프로그램을 모듈화 시킬 경우 다른 프로그램이 사용하기 쉬움e.g., 카카오톡 게임을 위한 카카오톡 접속 모듈파이썬의 모듈

수강신청 프로그램을 예로 들자면,수강신청의 시작부터 끝까지 순서대로 작성수강신청의 관련 주체들(교수, 학생, 관리자)의, 행동(수강신청, 과목 입력)과 데이터(수강과목, 강의 과목) 들을 중심으로 프로그램 작성 후 연결객체: 일종의 물건속성(attribute)와 행동(

파이썬 스타일의 코딩 기법파이썬 특유의 문법을 활용해 효율적으로 코드를 표현많은 언어들이 서로의 장점을 채용하고 있으므로 더 이상 파이썬만의 특징은 아님고급 코드를 작성할 수록 더 많이 필요String type의 값을 “기준값”으로 나눠 리스트 형태로 변환String으

나중에 넣은 데이터를 먼저 반환하도록 설계된 메모리 구조후입선출(Last In First Out, LIFO)입력은 push(append()), 출력은 pop(pop())입력(순차적 추가)출력(순차적 제거)먼저 넣은 데이터를 먼저 반환하도록 설계된 메모리 구조선입선출(F

시퀀스 자료형으로, 문자형 data를 메모리에 저장영문자 한 글자는 1 byte의 메모리 공간 사용한 글자씩 메모리 공간이 할당1 byte컴퓨터는 2진수로 데이터를 저장 → 모든 데이터를 2진수로 인식이진수 한 자리는 1 bit (⇒ 0 or 1)1 byte = 8 b

프로그램을 작성할 때, 조건에 따른 판단과 반복은 필수적예시: 점수에 따라 학점을 부여하는 프로그램 개발작동 절차점수에 따른 학점 기준 정립예: 95 이상 A+, 60 미만 F기준을 바탕으로 첫 번째 줄 점수 판단다음 줄로 이동하면서 2를 반복더 이상 점수가 없을 때

어떤 일을 수행하는 코드의 덩어리반복적인 수행을 1회만 작성 후 호출코드를 논리적인 단위로 분리캡슐화: 인터페이스만 알면 타인의 코드 사용 가능name, parameter, indentation, return value(optional)예시전체 코드에서 함수 부분을 제

변수와 메모리 변수(Variable) 가장 기초적인 프로그래밍 문법 개념 데이터를 저장하기 위한 메모리 공간 student = “Sehyeong” 이라고 선언한다면 student라는 변수에 “Sehyeong”이라는 값을 넣으라는 의미 (student가 곧 “

1991년 귀도 반 로섬이 발표했으며, 처음에는 C언어로 구현되었음귀도 반 로섬 (Guido van Rossum)1989년 크리스마스에 할 일이 없어서 개발했다고 함..자비로운 종신 독재자: 파이썬의 개선 사항(PEP)에 대한 최종 의사결정자파이썬은 운영체제에 독립적으