[Deep Learning]_4_미분 기초 (3)

220302 작성

<본 블로그는 두우우부님의 딥러닝 입문 블로그를 참고해서 공부하며 작성하였습니다>

https://doooob.tistory.com/192

[딥러닝 입문 - 3] 미분의 기초 (3/3)

 

 

 

 

1. 선형성

: 미분은 선형성이라는 성질을 가지고 있다

- 각 항목마다 독립적인 미분 연산 가능

- 상수를 미분 연산의 외측으로 꺼낼 수 있음

=> 두 가지 특성 합쳐 "선형성"

 

그외 공식

 

 

 

2. 합성 함수의 미분

: z=g(f(x)) 의 미분

: 딥러닝으로 말하자면 " 각 층을 하나의 함수로 간주하면 신경망은 많은 함수(층)을 합성한 합성 함수 )

: 연쇄법칙이란, 합성 함수 미분을 쉽게 계산하는 공식 + 신경망 훈련 방법인 오차 역전파법 이해하는 필수 역할

 

 

 

 

3. 편미분

: y를 예측하는 다변수 함수 사용

: 입력 xM에만 주목하고 미분하는 것을 말함

: 미분을 의미하는 기호가 d에서 ∂로 => ∂xm은 xm 이외를 상수로 간주, xm에만 착안하여 미분을 한다는 의미