Author Archives: admin_uhs64

勾配消失問題の説明として正しいものを選んでください． [選択肢] 1. 勾配消失問題は中間層の活性化関数に sigmoid 関数を用いた場合にのみ発生するので、活性化関数の選択には十分注意が必要である． 2. 勾配消失問題とは、前進パスにおける各層のニューロンの出力値が徐々に小さくなっていくことで、 　バックプロパゲーションに必要な重みが消滅してしまう現象である． 3. 勾配消失問題とは、バックプロパゲーション時に勾配が徐々に急になっていくことで、各層の重みが非常に大きくなる現象である． 4. 勾配消失問題は、各層の入出力の値を正規化することで緩和できる．

活性化関数を説明している文として正しいものを選択肢 1 ~ 3 から選んでください． 1. ReLU 活性化関数は出力層によく用いられる． 2. sigmoid 関数はバックプロパゲーションとの相性がよくないため、中間層の活性化関数として用いれることはほとんどない． 3. 隠れ層にはロジスティック関数を活性化関数として用いることで、バックプロパゲーションにかかる計算コストを抑えられる．

勾配降下法を説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 からそれぞれ選んでください． ロジスティック関数の出力は 0 か 1 で飽和するため、ロジスティック関数への ( Q1 ___ ) の絶対値が大きいとすぐに飽和してしまう． よって、導関数は極端に( Q2 ___ ) に近くなってしまうため、( Q3 __ ) するために必要な勾配がほとんど消滅してしまう． また、( Q3 ___ ) が始まったとしても上位層から徐々に勾配が消滅していくため、下位層ではほぼ完全に勾配が消滅してしまう． [Q1の選択肢] 1. 重み 2. 特徴量 3. 入力 [Q2の選択肢] 1.10.5 2. 3. 0 [Q3の選択肢] 1. 正則化 2. バックプロパゲーション 3. 次元削減

Xaiver の初期値を説明している以下の文で空欄に入る適切な単語を選択肢からそれぞれ選んでください． バックプロパゲーションをする時には順方向と逆方向で適切に信号を流す必要がある． しかし、適切に信号を流すためには、各層の入力と出力の接続数を統一するなどし、層を通過する前と後での勾配の ( Q1 ___ ) を等しくしておく必要がある． 実際には、各層の入力と出力の接続数は異なるため、接続部の ( Q2 ___ ) をランダムに初期化することで妥協する． [Q1の選択肢] 1. 分散 2. 平均値 3. 数 4. 初期値 [Q2の選択肢] 1. 勾配 2. 重み 3. 活性化関数 4. ニューロン数

順伝播型ニューラルネットワークの説明として正しいものを選択肢から選んでください． 1. 順伝搬型ニューラルネットワークは、バイナリークラス分類だけでなく他クラス分類が可能である． 2. 決定木は代表的な順伝搬型ニューラルネットワークといえる． 3. ニューラルネットワークの実装に用いられる代表的なライブラリは、scikit-learn である． 4. 順伝搬型ニューラルネットワークとは、重みの更新のためにバックプロパゲーションをしない DNN モデルの総称である．

以下の文の中で、その説明が正しくないものを選択肢から選んでください． 1. 一層あたりのニューロン数が多く、層の数が少ないアーキテクチャよりも、一層あたりのニューロン数は少ないが多層であるアーキテクチャの方が訓練スピードは早くなる． 2. DNN の訓練では、最初は多層のアーキテクチャで実装し、モデルの精度が上がらない場合は層を増やしユニット数を増やしみるとよい． 3. モデルが訓練セットに対して過学習ぎみな場合、一層当たりのニューロン数を減らすことで汎化性能を向上させる必要がある．

ANN の隠れ層を説明している以下の文で空欄に入る適切な単語を選択肢から選んでください． 一般的に単層だがユニット数（ニューロンの数）が十分多い ANN アーキテクチャとユニット数は多いわけではないが 十分な数の層をもつ ANN アーキテクチャでは、同じ複雑な関数を表現した場合に、それぞれのアーキテクチャのパラメータ効率を比べると ( Q1 ___ ) ． 1. 多層のアーキテクチャの方が高い 2. 多数ユニットの方が高い 3. どちらも大して変わらない

順伝播型ニューラルネットワークを説明している以下の文で空欄に入る適切な単語を選択肢 1 ~ 3 から選んでください． MLP では出力がバイナリクラスとなっているが、出力クラスが相互排他的な場合には個々のニューロンの出力値は対応する クラスに属する確率であり、出力層に用いられる活性化関数は共有の ( Q1 ___ ) となる． 1. ソフトマックス関数 2. ロジスティック関数 3. tanh 関数 4. sigmoid 関数

バックプロパゲーションの説明として正しくないものを選択肢から選んでください． [選択肢] 1. DNN モデルの活性化関数がステップ関数だと、活性化関数前後で勾配が消失してしまうため、バックプロパゲーションを適用できない． 2. 活性化関数に ReLU を用いると、ReLU に与えられる入力が負の場合、それ以降の層に誤差の逆伝搬は行われない． 3. DNN モデルの出力層に sigmoid 関数を適用すると、合成関数の微分に置いて成り立つ連鎖率が成立しなくなるため、 　バックプロパゲーションは適用できない． 4. DNN モデルの各ニューロンで行われている入力と重みの行列演算は Affine 変換と呼ばれており、バックプロパゲーションの際にも、 　この行列の各要素に対して偏微分をすることで勾配を計算することができる．

バックプロパゲーションの説明として正しくないものを選択肢から選んでください． [選択肢] 1. DNN モデルの出力層に sigmoid 関数を適用すると、合成関数の微分に置いて成り立つ連鎖率が成立しなくなるため、 　バックプロパゲーションは適用できない． 2. DNN モデルの活性化関数がステップ関数だと、活性化関数前後で勾配が消失してしまうため、バックプロパゲーションを適用できない． 3. DNN モデルの各ニューロンで行われている入力と重みの行列演算は Affine 変換と呼ばれており、バックプロパゲーションの際にも、 　この行列の各要素に対して偏微分をすることで勾配を計算することができる． 4. 活性化関数に ReLU を用いると、ReLU に与えられる入力が負の場合、それ以降の層に誤差の逆伝搬は行われない．