train validation test set 과의 차이점

 

🌟 Train Set

• Train set은 온전히 모델의 학습만을 위해서 사용
• parameter나 feature등을 수정해서 모델의 성능을 높이는 작업을 거칠때 사용

 

🌟Validation Set

• Validation set과 test set은 모델의 학습에 직접적으로 관여하지 않음
• 학습이 끝난 모델에 적용시켜 test set을 이용한 모델의 평가로 넘어가기 이전에 최종적으로 모델을 fine tuning하는데에 사용
• 만든 모델이 test set 에서, 그리고 실제로 배포 되었을때 높은 성능을 낼 수 있도록 만들어 줌

 

🌟Test Set

• Test set은 최종적으로 우리가 만든 모델의 성능을 평가하기 위한 데이터셋
• 모델의 학습에는 전혀 사용되지 않음
• 모델이 배포된 이후에 실사용 되었을때 모델이 얼마나 좋은 성능을 발휘 할 수 있을지 알아보는 것
• unseen data의 역할을 해주어 우리가 만든 모델의 성능을 효과적으로 평가할 수 있도록 도와줌