Cross-validation
trainng 데이터로 학습하고, validation set으로 평가하는 방법이다. 처음에는 epoch를 몇 번만 돌려 대략적인 범위를 설정하고, 어느정도 윤곽이 잡히면 학습을 더 오래시키는 식으로 구현한다.
Grid search
탐색의 대상이 되는 특정 구간의 hyperparameter 값들을 등간격으로 선정하여, 이들 각각에 대하여 측정한 성능 결과를 기록한 뒤, 가장 높은 성능을 발휘했던 hyperparameter 값을 선정하는 방법이다. 하지만 특정부분의 parameter가 무시될 수 있기 때문에 random search 방법이 선호된다.
Random search
탐색의 대상이 되는 특정 구간의 hyperparameter 값들을 랜덤 샘플링(sampling)을 통해 선정한다.
불필요한 반복 수행 횟수를 줄이고 동시에 정해진 간격 사이에 위치한 값들에 대해서도 확률적으로 탐색이 가능하다.
