Gradient Descent with Momentum (moving weighted averages)
-
Gradient descent는 여러 step을 거쳐서 cost minimum에 수렴하게된다.
-
이 때, learning rate가 크면 초반에 overshooting 할 가능성도 있다.
-
그래서 초반에 overshooting 되지 않도록 learning rate를 작게 설정한다.
-
다른 면에서 보면, 위 아래로 fluctuating하는 것을 느리게 만들고, 옆으로 이동하는건 빠르게 만들 수 있다.
-
이것을 momentum을 통해 할 수 있다.
-
위아래로 움직이는 것을 moving average로 줄이는 것이다.
-
결국 빨간색처럼 위아래로는 작게, 옆으로는 빠르게 수렴하도록하는 것이다.
-
Beta를 0.9로 설정한다는 것은 지난 10번의 gradients로 moving average를 활용한다는 것이다.
※ 사실 실제로 gradient descent with momentum을 구현할 때는 bias correction을 적용하지는 않는다. -
또 다른 이점은 Local Minimum에 빠지지 않도록 해줄 수 있다는 점이다. Moving average를 사용하지 않으면 local minimum에 도달할 때 쯤 gradient가 점점 작아질텐데, moving average 덕분에 local minumum을 뛰어넘고 더 낮은 local minimum에 닿을 수 있다.
3개의 댓글
Insurance is a vital investment for mobile businesses, offering protection against unexpected risks. By choosing the right policies, maintaining compliance, and prioritizing safety, commercial box truck insurance operators can focus on serving customers while ensuring their livelihood is secure.
Automation accelerates digital transformation in businesses. By integrating with existing technologies, what is intelligent automation it enables organizations to modernize their operations. This transformation is crucial for staying relevant in today’s fast-evolving digital landscape.
Mobile home removal companies typically start with a comprehensive assessment of the structure. They evaluate the size, condition, and accessibility of the mobile home demolition services for abandoned properties to determine the best removal method. This initial step ensures the process is safe, efficient, and tailored to meet the client’s specific needs.