전이학습(Transfer Learning)

♣ Transfer LearningDownstream task = 현재 풀고자 하는 문제Pre-trained task = Downstream task와 비슷하지만 다른 문제  Downstream task에서 데이터가 부족한 경우, 데이터가 풍부하면서도 Downstream과 어느 정도 연관된 Pre-training task에 모델을 사전학습시켜서 Downstream task에 도움이 될 수 있는 feature들을 모델에 학습시킨다. 즉 pre-training task에 대해 이미 학습된 모델이 있을 때, 해당 모델의 weight로 초기화하여 downstream task에 대해서 학습(fine-tuning)하는 방법이다.  전이학습을 사용하는 이유1. Random하게 초기화해서 학습하는 것보다 학습 수렴 속..

2024.06.06