RNN の訓練に関する説明として正しいもの選択肢から選んでください. 1. Truncated BPTT では、順伝搬時のつながりを部分的に切り離すことで安定した学習を実現する. 2. RNN を BPTT で訓練する場合、入力シーケンスが大きくても計算コストは大きくならない. 3. Truncated BPTT では、小さな時間間隔ごとにネットワークを分割することで、その小さなネットワークに対してバックプロパゲーションを適用する. 4. 入力シーケンスが大きくても、RNN モデルのメモリ要件は変わらない.
Monthly Archives: June 2020
RNN の訓練
RNN の訓練を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください. RNN は他の NN モデルと同様に ( Q1 ___ ) で訓練ができる. 具体的には、RNN ネットワークを時間軸方向に (Q2 ___ ) し、全身パスで勾コスト関数を使って出力シーケンスを評価する. その後、後退パスでバックプロパゲーションし勾配を随時求めていき、その勾配を用いてパラメータを更新する. [Q1の選択肢] 1. オプティマイザー 2. バックプロパゲーション 3. カーネル [Q2の選択肢] 1. アンロール 2. マージン 3. クラスタリング
深層 RNN
次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び、深層 RNN を実装してください. import tensorflow as tf import numpy as np learning_rate = 0.001 X = tf.placeholder(tf.float32, [None, n_steps, n_inputs]) y = tf.placeholder(tf.int32, [None]) n_neurons = 100 n_layers = 3 # Q1:3 層の RNN レイヤを定義してください. layers = ########## [Q1の選択肢] 1. [tf.nn.stastic_rnn(num_units=n_neurons, activation=tf.nn.relu) for layer in range(n_layers)] 2. [tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu) for layer […]
RNN の実装
次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び、初歩的な RNN を実装してください. import tensorflow as tf import numpy as np n_inputs = 3 n_neurons = 5 X0 = tf.placeholder(tf.float32, [None, n_inputs]) X1 = tf.placeholder(tf.float32, [None, n_inputs]) # Q1:BasicRNNCell を用いて RNN をアンロールするために必要となる記憶セルを定義 basic_cell = ########## [Q1の選択肢] 1. tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons) 2. tf.nn.rnn_cell.BasicRNNCell(num_units=X0) 3. tf.nn.rnn_cell.BasicRNNCell(num_units=n_inputs) # Q2:static_rnn() 関数に入力テンソルを与え、出力テンソルを得てください. output_seqs, states = ########## [Q2の選択肢] 1. […]
RNN の実装
次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び、初歩的な RNN を実装してください. import tensorflow as tf import numpy as np n_inputs = 3 n_neurons = 5 X0 = tf.placeholder(tf.float32, [None, n_inputs]) X1 = tf.placeholder(tf.float32, [None, n_inputs]) # Q1:BasicRNNCell を用いて RNN をアンロールするために必要となる記憶セルを定義 basic_cell = ########## [Q1の選択肢] 1. tf.nn.rnn_cell.BasicRNNCell(num_units=X0) 2. tf.nn.rnn_cell.BasicRNNCell(num_units=n_inputs) 3. tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons) # Q2:static_rnn() 関数に入力テンソルを与え、出力テンソルを得てください. output_seqs, states = ########## [Q2の選択肢] 1. […]
シーケンス・シーケンス, シーケンス・ベクトル ベクトル・シーケンス, 遅延シーケンス・シーケンス
様々な RNN の用途を説明している以下の選択肢のうち、Q1 ~ 4 それぞれの RNN モデルに対応する説明を選んでください. Q1:シーケンス・シーケンス Q2:シーケンス・ベクトル Q3:ベクトル・シーケンス Q4:遅延シーケンス・シーケンス 1. 画像の中に写っている人や動物にキャプションをつける RNN 2. 過去 20 日分の株価から翌日の株価を予測する RNN 3. 過去の株価から、未来に向かって 1 日ずらした株価を予測し続ける RNN 4. 日本語を英語に機械翻訳する RNN
シーケンス・シーケンス, シーケンス・ベクトル ベクトル・シーケンス, 遅延シーケンス・シーケンス
様々な RNN の用途を説明している以下の選択肢のうち、Q1 ~ 4 それぞれの RNN モデルに対応する説明を選んでください. Q1:遅延シーケンス・シーケンス Q2:ベクトル・シーケンス Q3:シーケンス・シーケンス Q4:シーケンス・ベクトル 1. 日本語を英語に機械翻訳する RNN 2. 過去の株価から、未来に向かって 1 日ずらした株価を予測し続ける RNN 3. 画像の中に写っている人や動物にキャプションをつける RNN 4. 過去 20 日分の株価から翌日の株価を予測する RNN
再起ニューロン
再帰ニューロンを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください. 再帰ニューロンは、フィードフォワード型のニューラルネットワークで用いられるパーセプトロンと異なり、 ( Q1 ___ ) を持つ. このような構造から、再帰ニューロンでは入力として、現在のタイムステップの入力だけでなく 1 つ前のタイムステップの ( Q2 ___ )も入力として受け取る. [Q1の選択肢] 1. 横方向の接続 2. 未来方向の接続 3. 後ろ方向の接続 [Q2の選択肢] 1. 入力 2. 出力 3. 重み
ResNet
ResNet を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 からそれぞれ選んでください. ResNet は ( Q1 ___ ) のネットワークをベースとしており、 ( Q2 ___ ) を取り入れることで層を深くしても学習効率を下げることなく訓練が行われる. [Q1の選択肢] 1. GoogLeNet 2. LeNet-5 3. VGG [Q2の選択肢] 1. スキップ接続 2. エスケープ接続 3. サルベージ接続
ResNet
ResNet の説明として正しいものを選択肢から選んでください. 1. ResNet は残差ユニットをスタックすることで構成される. 2. ResNet は深層アーキテクチャであるため、バックプロパゲーションによる訓練は難しい. 3. ResNet は inception モジュールと呼ばれる小さな CNN で構成される. 4. 一般的に、VGG は ResNet と比べて深層なネットワークである.