グーグルのクラウドを支えるテクノロジー　＞　第54回　ハイパーパラメーターチューニングの新手法（パート２）

CTC教育サービスはコラム「グーグルのクラウドを支えるテクノロジー　＞　第54回　ハイパーパラメーターチューニングの新手法（パート２）」を公開しました。

###

はじめに
　前回に引き続き、2018年に公開された論文「Population Based Training as a Service」、および、それに関連する2017年の論文「Population Based Training of Neural Networks」を紹介します。今回は、2つ目の論文で提案された、新しいハイパーパラメーターチューニングの手法である「Population Based Training」の基本的な手続きを説明します。
既存のハイパーパラメーターチューニングの課題
　新しい手法を説明する前に、まずは、既存の手法の課題を整理しておきます。まず１つは、前回も触れたように、チューニングに長い時間を要するという問題です。ハイパーパラメーターに値を設定して学習処理を実施した後に、その評価結果を見て、次に試すべき値を推定するという作業を繰り返すので、学習処理を何度も繰り返す必要があります。
　もう１つの課題は、学習処理中のハイパーパラメーターの動的な変更です。たとえば、学習率の値は、学習処理の進行にあわせて変化させることで、パラメーター（モデルに含まれるウェイトの値）が効率的に最適化できることが知られています。同じことは、学習率以外のハイパーパラメーターにもあてはまります。しかしながら、学習中の変化まで含めると、ハイパーパラメーターの値の組み合わせは膨大なものとなり、学習を繰り返しながら最適値を探していくという手法そのものが困難になります。

この続きは以下をご覧ください
(リンク »)