컴퓨터하는 kimmessi

오차 역전파(Back Propagation) 편미분과 연쇄 법칙(chain rule)을 이용하여 미분을 분리한 후, 수학 공식으로 나타내어 계산하는 방법 오차 역전파는 행렬로 표현되는 수학공식을 이용하기 때문에 빠른 계산이 가능하다. (수치 미분을 쓸 때보다 훨씬 더 시간을 단축할 수 있다.) 시그모이드(sigmoid) 함수의 미분 $ \begin{eqnarray} \frac{\partial \mathrm{sigmoid} (z)}{\partial z} & = & \frac{\partial}{\partial z} \cdot \frac{1}{1+e^{-z}} \\ & = & \frac{\partial}{\partial z} \cdot (1+e^{-z})^{-1} \\ & = & \frac{e^{-z}}{(1..

수치 미분(Numerical Derivative) 이상적으로 주어진 함숫값을 이용하여 도함수의 근삿값을 구하는 것 편미분 (partial derivative) 편미분은 입력 변수가 하나 이상인 다변수 함수에서, 미분하고자 하는 변수 하나를 제외한 나머지 변수들은 상수로 취급하고, 해당 변수를 미분하는 것 ex) $ f(x, y) = 3x + 4xy + y^{2} $ , 변수 x에 대하여 편미분 $$\frac{∂f(x,y)}{∂x} = \frac{∂(3x + 4xy + y^{2})}{∂x} = 3 + 4y$$ 연쇄 법칙(chain rule) 합성함수를 미분하려면 합성함수를 구성하는 각 함수의 미분의 곱으로 나타내는 연쇄 법칙(chain rule) 이용. 합성함수 예시) $f(x) = e^{3x} \Righ..