AdaGrad

Momentum 最適化の説明として正しいもの選択肢から選んでください.

1. 任意の決められたステップに従って勾配を下っていくことで、コスト関数が採用となるハイパーパラメータを見つける手法である.
2. 勾配に慣性を与えることで、コスト関数の最小値を高速で見つけることができる.
3. 慣性の更新のために、慣性方向の少し先の勾配を利用する.
4. 重みの更新時に、それまでの全ての勾配を均一に加味して学習率を徐々に小さくしてくことで、高速で解にたどり着ける.
5. 重みの更新に近い過去の勾配の情報を用いることで、高速に解へたどり着ける.
6. 慣性最適化に適応学習率の考えを取り入れることで、高速かつ安定に解へたどり着くことができる.

Leave a comment

Your email address will not be published. Required fields are marked *