머신러닝 수학편(데싸스쿨) : 미적분편 4.1 - 4.4

개인적으로 스터디를 하며 문제, 답을 정리한 글입니다. 목적은 스터디원들과 함께 실력향상 및 정리 목적으로 쓰게 되었습니다. 스크린샷으로 찍어서 올린 것들은 차후에 시간이 날때 따로 제가 사진을 정리해 올리도록 할 것이지만, 많은 경우에 데싸안의 정리나 쉽게 인터넷에 검색해서 나올 수 있는 정리들을 가져다가 쓰거나 가장 기초적인 문제를 올렸으므로 스크린샷을 업로드 하기 전이라도 충분히 답은 구하실 수 있을 것입니다. 만약 식이 전혀 이해 안가신다면, 그 부분은 아마 푸는법에 대한 방식을 더 공부해야한다거나 펀더멘탈 공식이나 푸는 법에 대한 이해가 부족한 것이므로 (그만큼 꼬지 않은 쉽고 기본적인 문제들만 냈어요) 따로 시간을 들여 기초를 한번 더 공부하셔야 할 것 같습니다.

완벽한 정리글은 아니고 공부하면서 학습자 입장에서 정리한 글이므로 조언해주시거나 틀린 방향성을 가지고 있는 내용이 있다면 댓글로 남겨주시면 반영하도록 하겠습니다. 감사합니다.

https://datascienceschool.net/intro.html
데이터 사이언스 스쿨의 4.1 ~ 4.4만을 타겟하여 문제 정리 했습니다. 또한 레퍼런스 사이트들은 따로 정리하지 않고 각 답란의 링크로 대체합니다.

wk3 study weekly quiz answer keys_

Functions

1. 로지스틱 회귀에서 시그모이드 함수가 왜 필요한가여?
   https://brunch.co.kr/@coolmindory/23

2 지수함수의 역함수는?
지수함수에서 밑이 𝑒가 아닌 경우에는 다음처럼 로그를 이용하여 계산할 수 있다. 𝑦=𝑎^𝑥=(𝑒^log𝑎)^𝑥=𝑒^𝑥log𝑎 로그는 지수함수의 출력이 특정한 값이 되게 하는 입력을 찾는 것이므로 지수함수의 역함수이다. 𝑦=log𝑥

3. Y/N questions for log functions
   𝑥값, 즉 입력변수값이 양수이어야 한다. 0이거나 음수이면 정의되지 않는다.

맞는 답 : 𝑥>1면 𝑦>0 (양수)

맞는 답 : 𝑥=1이면 𝑦=0

맞는 답 : 0<𝑥<1면 𝑦<0 (음수)

𝑥1>𝑥2면 log𝑥1>log𝑥2이다.

4. Y/N questions for exponential functions
   양수(𝑒)를 거듭제곱한 값이므로 항상 양수다.

맞는 답 : 𝑥=0일 때 1이 된다.

맞는 답 : 𝑥가 양의 무한대로 가면(𝑥→∞), 양의 무한대로 다가간다.

맞는 답 : 𝑥가 음의 무한대로 가면(𝑥→−∞), 0으로 다가간다.

맞는 답 : 𝑥1>𝑥2이면 exp𝑥1>exp𝑥2이다.(여기의 숫자는 밑임.)

맞는 답 :

5. 로지스틱 회귀에서 log function 과 exponential function의 쓰임을 설명가능? https://www.youtube.com/watch?v=6vzchGYEJBc&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=12 https://sacko.tistory.com/40 3:50초 exponential 5:50 log
6. 다변수함수?
7. 분리가능 다변수함수?
   8.소프트플러스함수?
   9.RelU?

Differentiation

테일러 급수와의 연관성: https://www.youtube.com/watch?v=3d6DsjIBzJ4&t=10s

0. 극한과 미분의 개념을 설명해봐라
   두점의 거리를 매우 짧게한 순간 변화율에서의 0으로 수렴하는 개념이 극한이고, 어떤 두점의 변화율을 나타내거나 기울기를 설명한 순간 변화율 미분.

극한(極限, 영어: limit)은 수학에서 변수가 일정한 법칙에 따라 정해진 값에 한없이 가까워질 때의 값이다. 함수(또는 수열)의 값이 어떠한 값으로 가까워지거나,또는 점점 멀어지는 움직임을 나타낸다. 이와 같은 개념은 미분과 연속을 정의하는 데에 필요하다.

1. x, y ∈ R 일때 y = f(x)의 기울기는?
   기울기는 y값의 증가량 / x값의 증가량

벡터의 차 𝑎−𝑏=𝑐는 벡터 𝑏가 가리키는 점으로부터 벡터 𝑎가 가리키는 점을 연결하는 벡터다. 그 이유는 벡터 𝑏에 벡터 𝑎−𝑏를 더하면, 즉 벡터 𝑏와 벡터 𝑎−𝑏를 연결하면 벡터 𝑎가 되어야 하기 때문이다. 𝑏+𝑐=𝑏+(𝑎−𝑏)=𝑎

f(x + δx) − f(x) / δx

여기서 f(x + δx) − f(x) 가 들어가는 이유는 𝑎−𝑏=𝑐이니까

2. e^x를 미분한 값은? e^x 그대로임
   3-6 풀어써라

PAGE 151/417 5.1.2 Differentiation Rules https://mml-book.github.io/book/mml-book.pdf

3.Product rule: (f(x)g(x))' = f'(x)g(x) + f(x)g'(x)
4. Quotient rule: (f(x)/g(x))' = (f'(x)g(x)-g'(x)f(x))/(g(x))^2
5. Sum rule: (f(x) + g(x))'
6. Chain rule: g(f(x))' = (g-f)'(x) = g'(f(x))f'(x) 체인룰은 로지스틱 회귀에서도 코스트 구할 때 씀
편미분의 기하학적 의미?
--- 그래프적으로보면 편미분이 x,y,z축들을 하나하나 기울기를 한차원 낮춰서 보여주는것과 같아서 기울기를 각각축끼리 알고 싶을때 계산한다. 축들의 기울기를 합쳐주면 gradient의 방향을 볼 수 있기 때문에 확장시켜줌.

편미분이 왜 중요한가? - 쓰임? Screen Shot 2021-04-27 at 10.05.25 PM.png
2차 편미분을 어디서 어떻게 쓰는지 예시를 설명해주세요 mixed partial derivatives를 쓸수도 있고(얼마나 꼬였는지 보임) 2차 미분의 아래로 볼록 위로 볼록 알 수 있음.
The unmixed second-order partial derivatives, fxx and fyy, tell us about the concavity of the traces. The mixed second-order partial derivatives, fxy and fyx, tell us how the graph of f twists.

기초: 2차편미분하는법 - https://www.youtube.com/watch?v=J08-L2buigM

심화: 그래서 어떻게 쓰는지 - https://www.youtube.com/watch?v=Xn6LjHKMrqA 바쁠땐 1:52부터라도 보세요

Terminology: what's concave up/down http://mathsfirst.massey.ac.nz/Calculus/Sign2ndDer/Sign2DerPOI.htm

테일러 전개를 어떻게 쓰는지 설명해주세요. 뭔지도 설명이 필요하다면 해주세요. https://www.youtube.com/watch?v=3d6DsjIBzJ4
손으로 적어주세요

0. a- 10m의 경로를 따라 1초 이동했습니다. 이를 1초당 거리를 계산할때 식은 얼마인가요? b- 10m를 1초씩 이동하다가 2초가 지난후에 14m를 1초에 이동할 수 있게 되었습니다. 가속 할 때 속도는 시간이 지남에 따라 변합니다. 이에 대한 변화를 구해보세요. 그리고 이를 어떤 수학적 용어로 부를 수 있을지 스스로 정의 내려보세요.
   https://www.mathsisfun.com/calculus/second-derivative.html

1. f(x) = x^n , n ∈ N 일때 주어진 함수를 미분해 보세요.
   f'(x) = n*x^n-1

p148 / 417 에 Example 5.2 (Derivative of a Polynomial) https://mml-book.github.io/book/mml-book.pdf

2.f(x, y) = (x + 2y^3)^2 x로 편미분 해보세요
x로 편미분: 2(x + 2y^3) y는 다 무시됨

PAGE 152/417 Example 5.6 (Partial Derivatives Using the Chain Rule) https://mml-book.github.io/book/mml-book.pdf

3.x 좌표위의 밑변을 가진 삼각형이 있고 x>a라고할때 이 두 점 x,a를 밑변으로 가진 삼각형의 크기는? 단, x,a와 미분을 사용하여 풀어보기
사진 카톡으로 포스트잇 배경으로 드렸는데 문제 자체의 차용은 https://www.youtube.com/watch?v=3d6DsjIBzJ4&t=10s 16:45에서 했습니다.

풀어써라 - 편미분 편

4. Product rule: ∂/∂x(f(x)g(x))
   = ∂f/∂x g(x) + f(x) ∂g/∂x

5. Sum rule: ∂/∂x(f(x)+g(x))
   = ∂f/∂x + ∂g/∂x

6. Chain rule: ∂/∂x(g ◦ f)(x)
   ∂/∂x(g(f(x)) = ∂g/∂f ∂f/∂x

4,5,6 답 아래

p153 5.2.1 Basic Rules of Partial Differentiation https://mml-book.github.io/book/mml-book.pdf

7. f(x) = sin(x)x^2 에서 f(x)를 미분해보세요
   sin(x)의 미분은 (삼각형의 닮음이나 그래프로 증명해서 보면) cos(x)이다. x^2는 2x이므로,

곱미분은 마치 네모의 넓이들을 잘라서 볼 수 있으므로

df = sin(x) d(x^2) + x^2 d(sin(x))이고

미분값을 대입하면, sin(x)2x + x^2cos(x)

Integral

0. 적분과 미분의 관계는?
   적분은 역미분을 하는 과정을 말한다. 이때 미분 이전의 원래 존재하던 함수를 원시함수라고 하며, 적분은 원시함수를 찾는 과정이다.

1. 왜 어떤 함수 f(x)의 부정적분은 무수히 많을까요?
   f'(x)는 f(x)를 미분해서 나온함수인데 이때 상수는 다 없어지므로 역미분 과정의 붙이는 상수 C 때문에 부정적분은 무수히 많아질 수 있습니다.

2. 부정적분 (Indefinite integral)에서 C가 그래프적으로 갖는 의미?
   C는 결국 그래프의 높이에 영향을 준다.

Screen Shot 2021-04-28 at 5.28.02 PM.png

3. 부정적분과 정적분의 차이는?
   부정적분은 답이 상수로 구해질 수 있도록 함수의 관계식으로 함수값을 구하는 것에서 함수의 관계식을 구하는 단계입니다. 부정적분해서 넓이를 구하고 싶으나 x의범위 (도형에서 밑변의길이)가 정해지지 않은 부정의 상태이므로 정확한 답이 나올 수 없는 상태입니다 따라서 x의범위는 언제든 변할 수 있다고 보고 모든 상태의 넓이를 표현하려하니 일반화해서 식으로 답을 표현하는 것이 최선인 것입니다.

정적분 ( definite integral, 定積分 ) 정적분의 경우 연속하는 구간 [a,b]가 주어지며 닫힌구간이므로 그 구간의 넓이를 구하는 것이 가능하다 하겠습니다. 이렇게 정적분은 단어의 뜻 그대로 정할정자 이므로 정해진부분의 넓이를 구하다보니 답이 함수식 형태가 아닌 특정한 값을 구하는 것이 가능합니다

4. 정적분을 미분의 방식으로 표현이 가능한가?
   Screen Shot 2021-04-28 at 6.02.48 PM.png

5. 수치적분의 정의? 수치적분(numerical integration)은 함수를 아주 작은 구간으로 나누어 실제 면적을 계산함으로써 정적분의 값을 구하는 방법이다. Scipy의 integrate 서브패키지의 quad 명령으로 수치적분을 할 수 있다.
   손으로 적어주세요

6. 도함수 f(x) 적분을 적어주세여
   여기에서 도함수가 𝑓(𝑥)이므로 미분하기 전의 함수를 𝐹(𝑥) 또는 ∫𝑓(𝑥)𝑑𝑥로 쓴다. 𝑑𝑥는 𝑥라는 변수로 적분했다는 것을 나타내는 기호로 편미분에 대응하는 적분을 표기할 때 필요하다.

7. t가 지속할때, 두 주어진 함수들의 편미분의 적분을 구해내세요. (앞에짤린건 무시하시고 f(x,y)부터 보시면 됨)
   Screen Shot 2021-04-28 at 5.30.20 PM.png

8. 식을 그려보세여:
   a. 𝑓(𝑥,𝑦)가 함수 𝐹3(𝑥,𝑦)를 𝑥로 한번 편미분한 후 𝑦로 다시 편미분하여 나온 이차 도함수라고 하자. 이 도함수를 식으로 나타내봐라. >> 여기서도 나오는 2차 편미분의 개념!

b. 위의 이차 도함수에서 원래의 함수를 찾으려면 어떤과정을 거쳐야하는지 설명해봐라.

Screen Shot 2021-04-28 at 5.51.36 PM.png

4. Screenshot_2017-07-09-10-58-33-1.jpeg

5.다변수 정적분: x가 a부터 b까지가고 y가 c부터 d까지 갈 떄, 다변수의 정적분을 식으로 나타내봐라.
다변수 정적분¶ 입력 변수가 2개인 2차원 함수 𝑓(𝑥,𝑦)의 경우에는 정적분을 다양한 방법으로 정의할 수 있다.

두 변수로 모두 적분하는 것은 2차원 평면에서 주어진 사각형 영역 아래의 부피를 구하는 것과 같다.

∫(𝑦=𝑑,𝑦=𝑐)∫(𝑥=𝑏,𝑥=𝑎)𝑓(𝑥,𝑦)𝑑𝑥𝑑𝑦(4.3.18)

https://datascienceschool.net/02%20mathematics/04.03%20%EC%A0%81%EB%B6%84.html#id10

6. 다차원 함수의 단일 정적분을 위의 식의 x기준으로 나타내봐라.
   2차원 함수이지만 이중적분을 하지 않고 단일 정적분을 하는 경우도 있다. 이 때는 하나의 변수만 진짜 변수로 보고 나머지 하나는 상수라고 간주하는 경우이다.

∫𝑏𝑎𝑓(𝑥,𝑦)𝑑𝑥(4.3.22) https://datascienceschool.net/02%20mathematics/04.03%20%EC%A0%81%EB%B6%84.html#id10

행렬의 미분

1.여러개의 입력을 가지는 다변수 함수는 함수의 독립변수가 벡터인 경우로 볼 수 있다.라는 말의 의미를 설명?
보통 함수도 x,y값을 가지는데 벡터또한 확장 가능한 한 점을 가지므로 벡터의 함수적 표현이 가능.

2.위의 의미를 반영해, 행렬을 인풋으로 가질 수 있는 근거는?
행렬은 열벡터의 집합과 같기때문에 행렬 = 다벡터를 인풋으로 가질 수 있다.

3. 행렬을 입력이나 출력으로 가지는 함수를 미분하는 것을 행렬미분(matrix differentiation)이라고 한다. 사실 행렬미분은 정확하게는 미분이 아닌 편미분(partial derivative)이지만 여기에서는 편의상 미분이라고 쓰겠다. 또한 행렬미분에는 분자중심 표현법(Numerator-layout notation)과 분모중심 표현법(Denominator-layout notation) 두 가지가 있는데 여기에서는 분모중심 표현법으로 서술한다.

4. x(x,y) = x제곱 + y제곱 일때 f(x,y)의 gradient? [2x, 2y]
   영상에 가파른 지점과 그래프, gradient 모형으로 나옴. https://www.youtube.com/watch?v=_-02ze7tf08 direction of steepest ascent라는 말처럼 가장 기울어졌을때는 가장 가파르게 올라가는 모형의 측면일때 입니다. 바닥의 화살표와 모형을 비교해보세요 4:19

데싸스쿨에서 나온 그레디언트 벡터의 특징:

그레디언트 벡터의 크기는 기울기를 의미한다. 즉 벡터의 크기가 클수록 함수 곡면의 기울기가 커진다.

그레디언트 벡터의 방향은 함수 곡면의 기울기가 가장 큰 방향, 즉 단위 길이당 함수값(높이)이 가장 크게 증가하는 방향을 가리킨다.

그레디언트 벡터의 방향은 등고선(isoline)의 방향과 직교한다.

용어정리

미분한결과(derivative), 변화율식{f(a+h)-f(a)}/h(difference quotient), 순간변화율(instantaneous rate of change), 평균변화율(average rate of change), 부정적분/결과(indefinite integral 또는 antiderivative), 정적분/결과(definite integral), 적분하는것(integration)

5. Screen Shot 2021-04-29 at 1.51.26 PM.png
   위의 표안의 기호는 스칼라(scalar)는 x, y 등과 같이 이텔릭 소문자로, 벡터(vector)는 x, y와 같이 볼드체 소문자로, 행렬(matrix)은 A, B 등과 같이 대문자로 표기합니다.

6,7 Screen Shot 2021-04-29 at 2.04.59 PM.png

8,9,10

Screen Shot 2021-04-29 at 2.06.35 PM.png

11. 행렬미분법칙 4: 행렬 곱의 대각성분¶
    두 정방행렬을 곱해서 만들어진 행렬의 대각성분(trace)는 스칼라이다. 이 스칼라를 뒤의 행렬로 미분하면 앞의 행렬의 전치행렬이 나온다.

12. 행렬미분법칙 5: 행렬식의 로그¶
    행렬식(determinant)은 스칼라값이고 이 값의 로그 값도 스칼라이다. 이 값을 원래의 행렬로 미분하면 원래 행렬의 역행렬의 전치 행렬이 된다.
    https://datascienceschool.net/02%20mathematics/04.04%20%ED%96%89%EB%A0%AC%EC%9D%98%20%EB%AF%B8%EB%B6%84.html#id17