ドロップアウトの説明として正しくないものを選択肢から選んでください. 1. ドップアウトは Weight decay のようなノルムを用いた正則化手法と合わせて使うことはできない. 2. ドロップアウトは擬似的にアンサブル学習のようにモデルを訓練できる. 3. ドロップアウトは、それぞれの訓練ステップで、ランダムに選ばれた出力層以外のニューロンを消去してモデル学習させるテクニックのことである. 4. ドップアウトはモデルの正則化手法の一つである.
Category Archives: 未分類
ドロップアウト
ドロップアウトの説明として正しくないものを選択肢から選んでください. 1. ドップアウトはモデルの正則化手法の一つである. 2. ドップアウトは Weight decay のようなノルムを用いた正則化手法と合わせて使うことはできない. 3. ドロップアウトは擬似的にアンサブル学習のようにモデルを訓練できる. 4. ドロップアウトは、それぞれの訓練ステップで、ランダムに選ばれた出力層以外のニューロンを消去してモデル学習させるテクニックのことである.
畳み込み層
畳み込みを説明している以下の文で空欄に入る適切な単語を選択肢から選んでください. 畳み込みとは、ある関数の上で他の関数を動かしていくことで、ある点ごとに れぞれの関数同士の ( Q1 ___ ) する数学的な操作のことである. 1. 和を積分 2. 差を積分 3. 積を積分 4. 重積分
Adam 最適化の実装
Adam を実装してください. optimizer = ########## 1. tf.train.AdamOptimizer(momentum=0.9, learning_rate=learning_rate) 2. tf.train.AdamOptimizer(momentum=0.9, learning_rate=learning_rate, decay=0.9) 3. tf.train.AdamOptimizer(learning_rate=learning_rate)
Adam 最適化の実装
Adam を実装してください. optimizer = ########## 1. tf.train.AdamOptimizer(learning_rate=learning_rate) 2. tf.train.AdamOptimizer(momentum=0.9, learning_rate=learning_rate) 3. tf.train.AdamOptimizer(momentum=0.9, learning_rate=learning_rate, decay=0.9)
Adam 最適化の実装
tf.train.AdamOptimizer クラスの引数 Q1 ~ Q3 として正しいものを選択肢から選んでください. また、それぞれの値のデフォルト値(論文内の推奨値)として正しいものを選んでください. Q1, Q4:learning_rate Q2, Q5:beta1 Q3, Q6:beta2 [Q1–3 選択肢] 1. 慣性減衰ハイパーパラメータ(一次モーメント用の係数) 2. スケーリング減衰ハイパーパラメータ(二次モーメント用の係数) 3. 学習率 [Q4–6 選択肢] 1. 0.999 2. 1e-3 3. 0.9
早期打ち切り (early stopping)
早期打ち切りを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください. 早期打ち切りとは,モデルが訓練セットに対して ( Q1 ___ ) するのを防ぐための正則化手法である. 具体的には,任意のステップごとに ( Q2 ___ ) を用いてモデルを評価し保存する. そして,スッテプが進むごとに保存されているモデルとそのステップのモデルを比べ,性能が高い方を保存する. この保存されているモデルが,一定のステップを超えても更新されない場合は,そのステップで訓練を終了する. [Q1の選択肢] 1. 過小適合 2. 過学習 3. 汎化 [Q2の選択肢] 1. 訓練セット 2. テストセット 3. 検証セット
早期打ち切り (early stopping)
早期打ち切りを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください. 早期打ち切りとは,モデルが訓練セットに対して ( Q1 ___ ) するのを防ぐための正則化手法である. 具体的には,任意のステップごとに ( Q2 ___ ) を用いてモデルを評価し保存する. そして,スッテプが進むごとに保存されているモデルとそのステップのモデルを比べ,性能が高い方を保存する. この保存されているモデルが,一定のステップを超えても更新されない場合は,そのステップで訓練を終了する. [Q1の選択肢] 1. 過学習 2. 汎化 3. 過小適合 [Q2の選択肢] 1. 検証セット 2. テストセット 3. 訓練セット
l1, l2 正規化 – 正規化項、誤差項
次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び,l1 正則化を実装してください. import tensorflow as tf n_inputs = 28 * 28 # MNIST を想定 n_hidden1 = 300 n_outputs = 10 X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=”X”) y = tf.placeholder(tf.int32, shape=(None), name=”y”) with tf.name_scope(“dnn”): hidden1 = tf.layers.dense(X, n_hidden1, activation=tf.nn.relu, name=”hidden1″) logits = tf.layers.dense(hidden1, n_outputs, name=”outputs”) 重みを設定 W1 = tf.get_default_graph().get_tensor_by_name(“hidden1/kernel:0”) W2 = tf.get_default_graph().get_tensor_by_name(“outputs/kernel:0”) […]
l1, l2 正規化 – 正規化項、誤差項
次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び,l1 正則化を実装してください. import tensorflow as tf n_inputs = 28 * 28 # MNIST を想定 n_hidden1 = 300 n_outputs = 10 X = tf.placeholder(tf.float32, shape=(None, n_inputs), name=”X”) y = tf.placeholder(tf.int32, shape=(None), name=”y”) with tf.name_scope(“dnn”): hidden1 = tf.layers.dense(X, n_hidden1, activation=tf.nn.relu, name=”hidden1″) logits = tf.layers.dense(hidden1, n_outputs, name=”outputs”) 重みを設定 W1 = tf.get_default_graph().get_tensor_by_name(“hidden1/kernel:0”) W2 = tf.get_default_graph().get_tensor_by_name(“outputs/kernel:0”) […]