Validation, Test 데이터세트 비교

Validation 데이터세트는 모델의 성능을 평가하여 하이퍼파라미터 튜닝에 쓰일 수 있다. (층의 수, 층의 유닛 수 등)

검증 세트의 성능을 기반으로 모델의 설정을 튜닝하면 검증 세트로 모델을 직접 훈련하지 않더라도 빠르게 검증세트에 과대적합 될 수 있다.

-> 한 번 튜닝하고 나서 검증세트에 평가한 결과를 가지고 다시 모델을 조정하는 과정을 여러 번 반복하면 검증세트에 관한 정보를 모델에 아주 많이 노출시키게 되어 과대적합 될 수 있다.

Test 데이터세트는 완전히 새로운 데이터이어야 하며 모델은 간접적으로 어떠한 정보도 주면 안됨

-> 테스트 세트 성능에 기초하여 튜닝한 모델의 모든 설정은 일반화 성능을 왜곡시킬 것이다.

* 데이터가 적을 경우 사용하면 좋은 고급 기법

- 단순 홀드아웃 검증(hold-out validation)

- K-겹 교차 검증(K-fold cross-validation)

- 셔플링(shuffling)을 사용한 반복 K-겹 교차 검증(iterated K-fold cross-validation)