GRU セル

GRU を説明している以下の文で正しいものを選択肢 1 ~ 3 から選んでください．

1. 出力ゲートが複数存在し，その個数は忘却ゲートによって決定される．
2. 1 つのゲートコントローラで，忘却ゲートと入力ゲートの両方を制御している．
3. GRU は LSTM を複雑化したもので、設定すべべきハイパーパラメータの数は LSTM の約 3 倍である．

GRU セル

GRU を説明している以下の文で正しいものを選択肢 1 ~ 3 から選んでください．

1. GRU は LSTM を複雑化したもので、設定すべべきハイパーパラメータの数は LSTM の約 3 倍である．
2. 出力ゲートが複数存在し，その個数は忘却ゲートによって決定される．
3. 1 つのゲートコントローラで，忘却ゲートと入力ゲートの両方を制御している．

LSTM セル

LSTM を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

RNN の中間層のユニットを LSTM block と呼ばれるメモリと ( Q1 ___ ) つのゲートを持つブロックに置き換える．
LSTM では，RNN で学習することのできなかった ( Q2 ___ ) を学習できる．

[Q1の選択肢]
1. 1
2. 2
3. 3

[Q2の選択肢]
1. 短期依存関係
2. 中期依存関係
3. 長期依存関係

忘却ゲート、入力ゲート、出力ゲート

忘却ゲート (Q1)，入力ゲート (Q2)，出力ゲート (Q3) を説明している文として合うものを選択肢 1 ~3 からそれぞれ選んでください．

1.
入力ゲート，出力ゲートの情報を組み合わせたものに tanh を適用し値を圧縮する．このゲートでは，tanh 層で得られた出力と，
セル状態のどの部分を出力するかを決定するためのシグモイド出力を掛け合わせることで，最後にどの情報を出力するかを決定する．

2.
誤差信号を入力として受け取り，長期状態のどの部分を学習するかを決める．

3.
入力層にある，シグモイド層で更新する情報を決定する．続いて，tanh 層で新たに追加する候補値をベクトルで生成する.
このゲートでは，それぞれの層からの出力を組み合わせて入力のどの部分を新たに長期状態に加えるかを決定する．

深層 RNN

次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び、深層 RNN を実装してください．

import tensorflow as tf
import numpy as np

learning_rate = 0.001

X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
y = tf.placeholder(tf.int32, [None])

n_neurons = 100
n_layers = 3

# Q1：3 層の RNN レイヤを定義してください．
layers = ##########

[Q1の選択肢]
1.
[tf.nn.stastic_rnn(num_units=n_neurons, activation=tf.nn.relu)
for layer in range(n_layers)]
2.
[tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
for layer in range(n_layers)]
3.
[tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons, activation=tf.nn.relu)
for layer in range(n_outputs)]

# Q2：MultiRNNCell() 関数を用いて layers の分だけ層を積み重ねてください．
multi_layer_cell = ##########
outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32)

[Q2の選択肢]
1. tf.nn.rnn_cell.MultiRNNCell(layers)
2. tf.nn.rnn_cell.MultiRNNCell(n_layers)
3. tf.nn.rnn_cell.MultiRNNCell(learning_rate)

RNN の実装

次のコードで空欄になっている行に入る適切な選択肢を 1 ~ 3 から選び、初歩的な RNN を実装してください．

import tensorflow as tf
import numpy as np

n_inputs = 3
n_neurons = 5

X0 = tf.placeholder(tf.float32, [None, n_inputs])
X1 = tf.placeholder(tf.float32, [None, n_inputs])

# Q1：BasicRNNCell を用いて RNN をアンロールするために必要となる記憶セルを定義
basic_cell = ##########

[Q1の選択肢]
1. tf.nn.rnn_cell.BasicRNNCell(num_units=n_neurons)
2. tf.nn.rnn_cell.BasicRNNCell(num_units=X0)
3. tf.nn.rnn_cell.BasicRNNCell(num_units=n_inputs)

# Q2：static_rnn() 関数に入力テンソルを与え、出力テンソルを得てください．
output_seqs, states = ##########

[Q2の選択肢]
1. tf.nn.static_rnn([X0, X1],dtype=tf.float32)
2. tf.nn.static_rnn(basic_cell([X0, X1]),dtype=tf.float32)
3. tf.nn.static_rnn(basic_cell, [X0, X1],dtype=tf.float32)

Y0, Y1 = output_seqs

init = tf.global_variables_initializer()

X0_batch = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 0, 1]])
X1_batch = np.array([[9, 8, 7], [0, 0, 0], [6, 5, 4], [3, 2, 1]])

with tf.Session() as sess:
init.run()
Y0_val, Y1_val = sess.run([Y0, Y1], feed_dict={X0: X0_batch, X1: X1_batch})

print(Y0_val)
print(Y1_val)

シーケンス・シーケンス, シーケンス・ベクトル ベクトル・シーケンス, 遅延シーケンス・シーケンス

様々な RNN の用途を説明している以下の選択肢のうち、Q1 ~ 4 それぞれの RNN モデルに対応する説明を選んでください．

Q1：遅延シーケンス・シーケンス
Q2：ベクトル・シーケンス
Q3：シーケンス・シーケンス
Q4：シーケンス・ベクトル

1. 日本語を英語に機械翻訳する RNN
2. 過去の株価から、未来に向かって 1 日ずらした株価を予測し続ける RNN
3. 画像の中に写っている人や動物にキャプションをつける RNN
4. 過去 20 日分の株価から翌日の株価を予測する RNN

シーケンス・シーケンス, シーケンス・ベクトル ベクトル・シーケンス, 遅延シーケンス・シーケンス

様々な RNN の用途を説明している以下の選択肢のうち、Q1 ~ 4 それぞれの RNN モデルに対応する説明を選んでください．

Q1：シーケンス・シーケンス
Q2：シーケンス・ベクトル
Q3：ベクトル・シーケンス
Q4：遅延シーケンス・シーケンス

1. 画像の中に写っている人や動物にキャプションをつける RNN
2. 過去 20 日分の株価から翌日の株価を予測する RNN
3. 過去の株価から、未来に向かって 1 日ずらした株価を予測し続ける RNN
4. 日本語を英語に機械翻訳する RNN