Pytorch로 시작하는 딥러닝 입문(03-02 자동 미분: Autograd, Forward Pass, Backward Pass)

♣ 자동 미분

경사하강법에서는 requires_grad=True, backward( ) 등이 등장한다. 이는 파이토치에서 제공하는 자동미분 기능을 수행하는 코드이다. 경사하강법을 수행하기 위해서는 손실함수를 가중치들에 대해서 미분한 값이 필요하다. 즉 모델을 구성하는 각 가중치 파라미터들에 대해 미분값을 구하는 것이다. 

 

 

♣ Forward Pass

x를 input으로 가지고 가중치 W를 가지는 뉴럴넷이 있다고 가정하자. Forward pass는 Gradient를 구하기에 앞서서 먼저 미분할 대상을 계산하는 과정을 의미한다. 

 

 

♣ Backward Pass

Forward pass에서 출력된 값을 가중치 W에 대해서 미분하는 과정을 의미한다. 

 

 

 

♣ 자동 미분 실습하기