スタックオートエンコーダの訓練

スタックオートエンコーダに関す説明をしている以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください.

隠れ層の数が 3 層のスタックオートエンコーダでは,まずスタックオートエンコーダ全体の入出力層を用いて,最初の隠れ層を ( Q1 ___ ) と見立てて訓練する.
続いて、残りの 2 つの隠れ層を用いて、この段階で得られた隠れ層からの出力を再構築するようなアウトエンコーダエンコーダを訓練する.
この中間層のネットワークを入出力層でサンドイッチすること、最終的な訓練済みのスタックオートエンコーダが得られる.

[Q1 選択肢]
1. 畳み込み層
2. 前結合層
3. コーディング層

ノイズ除去

スタックノイズ除去オートエンコーダを説明している以下の文の空欄にはいる適切な単語を選択肢から選んでください.
(空欄に当てはまらないものを選んでください.)

入力に ( Q1 ____ ) を加えてオートエンコーダを訓練し,デコーダで入力を復元できるように訓練することでノイズの特徴を学習し,
ノイズ除去機能を得ることができる.

1. l2 ノルム
2. 潜在変数
3. ガウスノイズ
4. バイアス

教師なしプレトレーニング

スタックオートエンコーダを用いた教師なしプレトレーニングを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください.

訓練セットの一部の画像にだけラベルが与えられている時,この画像データセットでクラス分類するモデルを訓練することを想定します.
まず,訓練画像セット全体を使ってオートエンコーダを訓練する.続いて,ラベルのついているデータを用いて、
訓練済みモデルの ( Q1 ____ ) を転用したラベル分類モデルを訓練する.こうすることで,一部のラベル付きデータを用いてデータセット全体のクラス分類ができる.

1. 隠れ層とコーディング層
2. デコーダ
3. エンコーダ

ノイズ除去

スタックノイズ除去オートエンコーダを説明している以下の文で空欄に対して適切ではない単語を選択肢 1 ~ 3 から選んでください.
(空欄に当てはまらないものを選んでください.)

入力に ( Q1 ___ ) を加えてオートエンコーダを訓練し,デコーダで入力を復元できるように訓練することでノイズの特徴を学習し,
ノイズ除去機能を得ることができる.

1. ガウスノイズ
2. 潜在変数
3. ドロップアウト

重みの均等化

スタックオートエンコーダを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください.

オートエンコーダのエンコーダとデコーダが対象的に作られている時,エンコーダ層の ( Q1 ___ ) を均等化できる.
こうすると,オートエンコーダ全体の ( Q1 ___ ) を半分にすることができ,時間コストの節約や ( Q2 ___ ) の抑制につながる.

[Q1の選択肢]
1. 入力のサイズ
2. 層の数
3. 重み

[Q2の選択肢]
1. 過学習
2. 過小適合
3. 特徴量の次元

疎 (sparse) 、疎性ロス

スパースオートエンコーダを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 からそれぞれ選んでください.

スパースオートエンコーダでは,より意味のある特徴量を追加するために表現力を保ったまま,( Q1 ___ ) の組み合わせで入力を
復元するように訓練される.具体的には,コスト関数に ( Q2 ___ ) を示す正則化項を追加することである.
この正則化項は( Q3 ____ )と呼ばれ、一般的に( Q4 ____ )を用いる

[Q1の選択肢]
1. いくつかの隠れ層
2. 少ないコスト関数
3. 少ない潜在変数

[Q2の選択肢]
1. ダバース性
2. スパース性
3. スパイク性

[Q3の選択肢]
1. 集性ロス
2. 密性ロス
3. 疎性ロス

[Q4 の選択肢]
1. Wasserstein distance
2. Kullback-Leibler diviergence
3. Jensen-Shannon divergence

スタックオートエンコーダの訓練

スタックオートエンコーダに関す説明をしている以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください.

隠れ層の数が 3 層のスタックオートエンコーダでは,まずスタックオートエンコーダ全体の入出力層を用いて,最初の隠れ層を ( Q1 ___ ) と見立てて訓練する.
続いて、残りの 2 つの隠れ層を用いて、この段階で得られた隠れ層からの出力を再構築するようなアウトエンコーダエンコーダを訓練する.
この中間層のネットワークを入出力層でサンドイッチすること、最終的な訓練済みのスタックオートエンコーダが得られる.

[Q1 選択肢]
1. コーディング層
2. 畳み込み層
3. 前結合層

疎 (sparse) 、疎性ロス

スパースオートエンコーダを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 からそれぞれ選んでください.

スパースオートエンコーダでは,より意味のある特徴量を追加するために表現力を保ったまま,( Q1 ___ ) の組み合わせで入力を
復元するように訓練される.具体的には,コスト関数に ( Q2 ___ ) を示す正則化項を追加することである.
この正則化項は( Q3 ____ )と呼ばれ、一般的に( Q4 ____ )を用いる

[Q1の選択肢]
1. 少ないコスト関数
2. 少ない潜在変数
3. いくつかの隠れ層

[Q2の選択肢]
1. スパイク性
2. ダバース性
3. スパース性

[Q3の選択肢]
1. 密性ロス
2. 疎性ロス
3. 集性ロス

[Q4 の選択肢]
4. Kullback-Leibler diviergence
5. Jensen-Shannon divergence
6. Wasserstein distance

層の数 – 次元圧縮

オートエンコーダの隠れ層の説明として正しいものを選択肢 1 ~ 3 から選んでください.

1. エンコーダによって潜在変数が生成されるため、デコーダの隠れ層の数や性能に寄らず、エンコーダによって潜在変数が決定される.
2. 隠れ層の数を増やすと,潜在変数の次元が段階的に圧縮されるため質は向上する.
3. 隠れ層の数を増やしても得られる潜在変数の質は変わらないため,隠れ層は 1 層で十分である.