Keras Tuner

설치

필요:

• Python 3.6

• TensorFlow 2.0 Beta

pip install git+https://github.com/keras-team/keras-tuner.git

 

기본 사항

random search를 사용해서 a single-layer dense neural network 하이퍼파라미터 튜닝을 해보자.

 

먼저, model-building 함수를 정의한다. hp는 hyperparameter를 샘플링 할 수 있는 인수이다.

ex) hp.Range('units', min_value=32, max_value=512, step=32) (특정 범위의 정수)

 

return은 컴파일된 model

from tensorflow import keras
from tensorflow.keras import layers
from kerastuner.tuners import RandomSearch


def build_model(hp):
    model = keras.Sequential()
    model.add(layers.Dense(units=hp.Range('units',
                                          min_value=32,
                                          max_value=512,
                                          step=32),
                           activation='relu'))
    model.add(layers.Dense(10, activation='softmax'))
    model.compile(
        optimizer=keras.optimizers.Adam(
            hp.Choice('learning_rate',
                      values=[1e-2, 1e-3, 1e-4])),
        loss='sparse_categorical_crossentropy',
        metrics=['accuracy'])
    return model

 

 

다음은, tuner를 인스턴스화 한다.

 

사용가능한 tuner로 RandomSearch, Hyperband가 있음

 

참고 : executions per trial을 여러변 하는 이유는 결과 차이를 줄여서 모델 성능을 정확하게 평가 할 수 있다. 결과를 빨리 얻으려면 executions_per_trial=1로 한다.

tuner = RandomSearch(
    build_model, # model-building 함수
    objective='val_accuracy', # 최적화 할 objective (
    max_trials=5, # 테스트할 trials 수
    executions_per_trial=3, # 각 trial에 built & fit에 필요한 모델 수 
    directory='my_dir',
    project_name='helloworld')

 

the search space 요약 보기:

tuner.search_space_summary()

 

이제 최고의 hyperparameter configuration 검색을 시작한다. search 호출은 model.fit() 과 같음

tuner.search(x, y,
             epochs=5,
             validation_data=(val_x, val_y))

 

search에서 일어나는 일 : 모델은 hp 객체가 추적하는 hyperparameter space (search space)을 채우는 model-building 함수가 호출되면서 반복적으로 빌드된다. 

 

검색이 끝나면 최고의 모델을 얻을수 있다.

models = tuner.get_best_models ( num_models = 2 )

 

결과 요약 보기 ~

tuner.results_summary ()

search space는 조건부 hyperparameters 가능 

def build_model(hp):
    model = keras.Sequential()
    for i in range(hp.Range('num_layers', 2, 20)):
        model.add(layers.Dense(units=hp.Range('units_' + str(i),
                                              min_value=32,
                                              max_value=512,
                                              step=32),
                               activation='relu'))
    model.add(layers.Dense(10, activation='softmax'))
    model.compile(
        optimizer=keras.optimizers.Adam(
            hp.Choice('learning_rate', [1e-2, 1e-3, 1e-4])),
        loss='sparse_categorical_crossentropy',
        metrics=['accuracy'])
    return model

 

model-building function 대신 HyperModel subclass 사용

build(self, hp) method만 구현하면 hypermodels 재사용&공유를 쉽게 할 수 있다.

from kerastuner import HyperModel


class MyHyperModel(HyperModel):

    def __init__(self, num_classes):
        self.num_classes = num_classes

    def build(self, hp):
        model = keras.Sequential()
        model.add(layers.Dense(units=hp.Range('units',
                                              min_value=32,
                                              max_value=512,
                                              step=32),
                               activation='relu'))
        model.add(layers.Dense(self.num_classes, activation='softmax'))
        model.compile(
            optimizer=keras.optimizers.Adam(
                hp.Choice('learning_rate',
                          values=[1e-2, 1e-3, 1e-4])),
            loss='sparse_categorical_crossentropy',
            metrics=['accuracy'])
        return model


hypermodel = MyHyperModel(num_classes=10)

tuner = RandomSearch(
    hypermodel,
    objective='val_accuracy',
    max_trials=10,
    directory='my_dir',
    project_name='helloworld')

tuner.search(x, y,
             epochs=5,
             validation_data=(val_x, val_y))

 

from kerastuner import HyperParameters

hypermodel = HyperXception(input_shape=(128, 128, 3), num_classes=10)

hp = HyperParameters()
# This will override the `learning_rate` parameter with your
# own selection of choices
hp.Choice('learning_rate', values=[1e-2, 1e-3, 1e-4])

tuner = Hyperband(
    hypermodel,
    hyperparameters=hp,
    # `tune_new_entries=False` prevents unlisted parameters from being tuned
    tune_new_entries=False,
    objective='val_accuracy',
    max_trials=40,
    directory='my_dir',
    project_name='helloworld')

tuner.search(x, y,
             epochs=20,
             validation_data=(val_x, val_y))

 

parameter 기본 값

model-building function 이나 hypermodel의 build 메소드에 hyperparameter 등록 할 때 기본 값 지정 가능함:

hp.Range('units',
         min_value=32,
         max_value=512,
         step=32,
         default=128)

안하면 hyperparameters 는 항상 default 값을 가진다. (Range의 경우 it is equal to min_value)

 

 

참고

https://github.com/keras-team/keras-tuner

keras-team/keras-tuner