ICHIGEKI WordPress on KUSANAGI – Page 9 – Just another WordPress site

ボトルネック層

Inception Module はボトルネック層としても機能する．
ボトルネック層を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

ボトルネック層は、入力よりもはるかに少ない次元の特徴量マップを作成することで ( Q1 ___ ) を行う．

1. プーリング
2. PCA
3. 次元削減

プーリング層の説明として正しくないものを選択肢から選んでください．

1. 基本的にプーリング層はモデルの出力層に用いられ、最優的な出力のサイズの調整に利用される．
2. プーリング層は学習パラメータを持たない．
3. プーリグ層をモデルに導入することで、入力データに対するロバスト性は向上する．
4. プーリング層の前後でフィーチャマップのチャネル数は変化しない．

Q1：2×2 のプーリングカーネルを用いて以下の特徴量マップを平均値プーリングする場合、出力として正しいものを選んでください．
ただし、ストライドは 1 とし、0 パディングはなしとします．

1.
2.
3.

Q1：3×3 のプーリングカーネルを用いて以下の特徴量マップを最大値プーリングする場合、出力として正しいものを選んでください．
　　ただし、ストライドは 2 とし、0 パディングはありとします．

1.
2.
3.

プーリングを説明している以下の文で空欄に対して不適切な単語を選択肢 1 ~ 3 から選んでください．
( 2 つは適切です．）

プーリング層は、畳み込み層と同様に前層の一部の出力を入力として受け取り集計することで、入力画像を圧縮する．
そうすることで、( Q1 ___ )の削減につながる．

1. 訓練イテレーション
2. 学習率
3. パラメータ数

プーリング層の説明として正しくないものを選択肢から選んでください．

1. プーリング層は学習パラメータを持たない
2. プーリング層の前後でフィーチャマップのチャネル数は変化しない．
3. プーリグ層をモデルに導入することで、入力データに対するロバスト性は向上する．
4. 基本的にプーリング層はモデルの出力層に用いられ、最優的な出力のサイズの調整に利用される．

ボトルネック層の説明として正しいものを選択肢から選んでください．

1. ボトルネック層をモデルに導入すると計算コストが増加する．
2. ResNet にはボトルネック層が導入されることはない．
3. ボトルネック層では、フィチューマップの次元削減が行われる．
4. ボトルネック層とは $$2 times 2$$ の畳み込み層のことである．

LeNet-5 (Q1)、AlexNet (Q2)、GoogLeNet (Q3) 、を説明している文を選択肢 1 ~ 4からそれぞれ選んでください．

1.
2012 に ImageNet を使った画像認識コンペで ILSVRC で優勝したモデルである．
畳み込み層とプーリング層、正則化層からなり活性化関数には ReLU 関数を使用している．
全結合層の出力に対して 50% の dropout を適用することで過学習を緩和している．

2.
畳み込み層とサブサンプリングによるプーリング層を交互に重ねたネットワークであり、
活性化関数にはシグモイド関数が用いられている．

3.
入力層から出力層までが一直線ではなく、Inception Module と呼ばれる小さなネットワークを複数横に並べ、
それらを結合することで 1 つのネットワークとなっている．それぞれの Inception Module は異なるサイズのカーネルを持つ．

4.
従来の CNN ネットワークでは、層を深しすぎるとモデルの性能は落ちるとされていたが、
このモデルは 152 層もの深層なネットワークにも関わらず 2015 年の ILSSVRC で優勝している．

CNN に置けるメモリ要件を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

CNN モデルでバックプロパゲーションをするためには、前進パス中で求めた中間値が全て必要となる．
よって、入力のサイズや特徴マップの数が大きくなると多くの RAM が必要となる．
よって、RAM が足りずに訓練がクラッシュする場合には、( Q1 ___ ) と良い．

1. 訓練エポックを減らす
2. 訓練バッチサイズを小さくする
3. 前結合層を増やす

VGG を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください．

VGG は、畳み込み層とプーリング層から構成される ”基本的” な CNN であり、畳み込み層や全結合層を合計 ( Q1 ___ ) まで積み重ねるのが特徴である．
VGG は (Q2 ___ ) ため、多くの技術者に好まれて使われている．

[Q1の選択肢]
1. 12 か 14
2. 16 か 19
3. 13 か 19

[Q2の選択肢]
1. 多くの論文が出されている
2. 構造が簡単である
3. RAM をあまり使用しない