深層学習(Keras)のパラメータチューニング

参考サイト：

• Optuna+KerasでCNNのハイパーパラメータを最適化
  
• Hyper-parameter Tuning Techniques in Deep Learning
  
• Scikit-Learn APIのためのラッパー
  
• Keras with GridSearchCVでパラメータ最適化自動化
  
• 【Keras】GridSearch(グリッドサーチ)でハイパーパラメータを調整する
  
• Optunaでハイパーパラメータチューニング
  
• Convolutional Neural Networks for Visual Recognition
• 定番のConvolutional Neural Networkをゼロから理解する
  
• TensorFlow, Kerasの基本的な使い方（モデル構築・訓練・評価・予測）

Kerasによる基本的なモデル作成例

• コード例１：手書き文字識別（パラメータチューニング省略）
• コード例２：MLP、CNNモデル作成（パラメータチューニング省略）

深層学習の主なハイパーパラメータ

• 活性化関数
• 最適化アルゴリズム
• ミニバッチ数
• エポック回数
• 重み減数(weight decay：正則化）
• 学習率　など

パラメータチューニング方法

1. scikit-learn
2. optuna

1. Scikit-learnによるKerasのパラメータチューニング

Scikit-Learn API用のラッパーを用いて、Grid SearchかRandom Searchをかける。

ラッパーは、keras.wrappers.scikit_learn モジュールからインストール

    from keras.wrappers.scikit_learn import KerasRegressor

• ランダムサーチのコード

• 結果の確認

上記のコード全体のリンク

Optunaによるハイパーパラメータチューニング

あとで追加