Category Archives: 未分類

重み上限正則化を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください． 重み上限正則化では，それぞれのニューロンに接続されている入力の重みの ( Q1 ___ ) を求め， その値が任意の重み上限ハイパーパラメータよりも大きくならないように制約を与える． 1. l1 ノルム 2. l2 ノルム 3. 逆ベクトル

重み上限正則化を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください． 重み上限正則化では，それぞれのニューロンに接続されている入力の重みの ( Q1 ___ ) を求め， その値が任意の重み上限ハイパーパラメータよりも大きくならないように制約を与える． 1. 逆ベクトル 2. l1 ノルム 3. l2 ノルム

重み上限正則化の説明として正しいものを選択肢から選んでください． 1. 基本的にはパッチノーマライゼーションと併用する 2. 重み上限ハイパーパラメータを大きくすることで正則化を厳しくできる． 3. 重み上限正則化は勾配爆発問題の緩和に繋がる． 4. 重み上限正則化ではマックスノルムを用いる．

Tensorflow を用いて、AdaGrad を実装してください． learning_rate = 5e-1 momentum = 0.9 Ada_optimizer = ########## 1. tf.train.AdagradOptimizer(learning_rate=learning_rate) 2. tf.train.AdagradOptimizer(momentum=momentum) 3. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate)

Tensorflow を用いて、AdaGrad を実装してください． learning_rate = 5e-1 momentum = 0.9 Ada_optimizer = ########## 1. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate) 2. tf.train.AdagradOptimizer(learning_rate=learning_rate) 3. tf.train.AdagradOptimizer(momentum=momentum)

RMSprop を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください． AdaGrad では、学習回数（イテレーション）が無限に増えると、（ Q1 ___ ）． RMSprop では，AdaGrad と異なり直近のイテレーションで求めた ( Q2 ___ ) だけを重みに足しこむことによって， 局所解に落ち込むことを防いでいる． [Q1の選択肢] 1. 勾配消失問題が発生する 2. 学習率が 0 となり、モデルの更新が行われなくなる 3. 慣性が大きくなりすぎるため、最適解に収束しなくなる [Q2の選択肢] 1. 慣性ベクトル 2. 最適化学習率 3. 勾配

RMSprop を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください． AdaGrad では、学習回数（イテレーション）が無限に増えると、（ Q1 ___ ）． RMSprop では，AdaGrad と異なり直近のイテレーションで求めた ( Q2 ___ ) だけを重みに足しこむことによって， 局所解に落ち込むことを防いでいる． [Q1の選択肢] 1. 学習率が 0 となり、モデルの更新が行われなくなる 2. 慣性が大きくなりすぎるため、最適解に収束しなくなる 3. 勾配消失問題が発生する [Q2の選択肢] 1. 勾配 2. 最適化学習率 3. 慣性ベクトル

Momentum 最適化の説明として正しいもの選択肢から選んでください． 1. 任意の決められたステップに従って勾配を下っていくことで、コスト関数が採用となるハイパーパラメータを見つける手法である． 2. 勾配に慣性を与えることで、コスト関数の最小値を高速で見つけることができる． 3. 慣性の更新のために、慣性方向の少し先の勾配を利用する． 4. 重みの更新時に、それまでの全ての勾配を均一に加味して学習率を徐々に小さくしてくことで、高速で解にたどり着ける． 5. 重みの更新に近い過去の勾配の情報を用いることで、高速に解へたどり着ける． 6. 慣性最適化に適応学習率の考えを取り入れることで、高速かつ安定に解へたどり着くことができる．

Tensorflow を用いて、AdaGrad を実装してください． learning_rate = 5e-1 momentum = 0.9 Aoptimizer = ########## 1. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=True) 2. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=False) 3. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10) 4. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, nesterov=False)

Tensorflow を用いて、AdaGrad を実装してください． learning_rate = 5e-1 momentum = 0.9 Aoptimizer = ########## 1. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10) 2. tf.train.RMSpropOptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, nesterov=False) 3. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=False) 4. tf.train.Afagradoptimizer(momentum=momentum, learning_rate = learning_rate, epsilon=1e-10, rmsprop=True)