ICHIGEKI WordPress on KUSANAGI

重み上限正則化を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

重み上限正則化では，それぞれのニューロンに接続されている入力の重みの ( Q1 ___ ) を求め，
その値が任意の重み上限ハイパーパラメータよりも大きくならないように制約を与える．

1. l1 ノルム
2. l2 ノルム
3. 逆ベクトル

重み上限正則化を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

重み上限正則化では，それぞれのニューロンに接続されている入力の重みの ( Q1 ___ ) を求め，
その値が任意の重み上限ハイパーパラメータよりも大きくならないように制約を与える．

1. 逆ベクトル
2. l1 ノルム
3. l2 ノルム

重み上限正則化の説明として正しいものを選択肢から選んでください．

1. 基本的にはパッチノーマライゼーションと併用する
2. 重み上限ハイパーパラメータを大きくすることで正則化を厳しくできる．
3. 重み上限正則化は勾配爆発問題の緩和に繋がる．
4. 重み上限正則化ではマックスノルムを用いる．

RMSprop を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

AdaGrad では、学習回数（イテレーション）が無限に増えると、（ Q1 ___ ）．
RMSprop では，AdaGrad と異なり直近のイテレーションで求めた ( Q2 ___ ) だけを重みに足しこむことによって，
局所解に落ち込むことを防いでいる．

[Q1の選択肢]
1. 学習率が 0 となり、モデルの更新が行われなくなる
2. 慣性が大きくなりすぎるため、最適解に収束しなくなる
3. 勾配消失問題が発生する

[Q2の選択肢]
1. 勾配
2. 最適化学習率
3. 慣性ベクトル

Momentum 最適化の説明として正しいもの選択肢から選んでください．

1. 任意の決められたステップに従って勾配を下っていくことで、コスト関数が採用となるハイパーパラメータを見つける手法である．
2. 勾配に慣性を与えることで、コスト関数の最小値を高速で見つけることができる．
3. 慣性の更新のために、慣性方向の少し先の勾配を利用する．
4. 重みの更新時に、それまでの全ての勾配を均一に加味して学習率を徐々に小さくしてくことで、高速で解にたどり着ける．
5. 重みの更新に近い過去の勾配の情報を用いることで、高速に解へたどり着ける．
6. 慣性最適化に適応学習率の考えを取り入れることで、高速かつ安定に解へたどり着くことができる．

Momentum 最適化の説明として正しいもの選択肢から選んでください．

1. 任意の決められたステップに従って勾配を下っていくことで、コスト関数が採用となるハイパーパラメータを見つける手法である．
2. 勾配に慣性を与えることで、コスト関数の最小値を高速で見つけることができる．
3. 慣性の更新のために、慣性方向の少し先の勾配を利用する．
4. 重みの更新時に、それまでの全ての勾配を均一に加味して学習率を徐々に小さくしてくことで、高速で解にたどり着ける．
5. 重みの更新に近い過去の勾配の情報を用いることで、高速に解へたどり着ける．
6. 慣性最適化に適応学習率の考えを取り入れることで、高速かつ安定に解へたどり着くことができる．

Adam を説明している以下の文で空欄に入る適切な単語を 1 ~ 3 から選んでください．

Adam は，( Q1 ____ ) を組みわせた最適化アルゴリズムである．Adam は適応学習率アルゴリズムであるため，学習率はデフォルトで
( Q2 ___ ) を使えることが多い．

[Q1の選択肢]
1. 確率的勾配降下方と Momentum 最適化
2. Momentum 最適化と RMSprop 最適化
3. Momentum 最適化と NAG

[Q2の選択肢]
1. 0.01
2. 0.001
3. 0.0001

Tensorflow を用いて、AdaGrad を実装してください．

learning_rate = 5e-1
momentum = 0.9
Aoptimizer = ##########

1. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10)
2. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, nesterov=False)
3. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=False)
4. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=True)

Adam を説明している以下の文で空欄に入る適切な単語を 1 ~ 3 から選んでください．

Adam は，( Q1 ____ ) を組みわせた最適化アルゴリズムである．Adam は適応学習率アルゴリズムであるため，学習率はデフォルトで
( Q2 ___ ) を使えることが多い．

[Q1の選択肢]
1. Momentum 最適化と確率的勾配降下方と
2. Momentum 最適化と RMSprop 最適化
3. Momentum 最適化と NAG

[Q2の選択肢]
1. 0.001
2. 0.9
3. 0

Tensorflow を用いて、AdaGrad を実装してください．

learning_rate = 5e-1
momentum = 0.9
Aoptimizer = ##########

1. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=True)
2. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=False)
3. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10)
4. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, nesterov=False)