訓練の鍵は「バックプロパゲーション」（誤差逆伝播）と呼ばれるプロセスだ。これはシステムにお手本となるデータを入力し、出力層から入力に見合った適切な出力が得られるまで、徐々に中間層の設定を変更していくという手法だ。
これによって、過去に入力されたことがないデータでも、適切な結果を導き出せるモデルができるものの、先ほど考察したように、現実世界の多くのアプリケーションに適用する場合には、内部の意思決定プロセスを詳細に吟味できた方が望ましい。
Nuance Communicationsでコーポレートリサーチを担当するシニアディレクターNils Lenke氏もこの問題を認識しており、「こうした問題は非常に興味深く、適切な話題と言える。というのも、ニューラルネットワークに代表される機械学習アルゴリズムは、例えばルールベースのシステムと比較すると透明性が低いためだ。内部の動作が常に明らかになるわけではない。ネットワーク自体を組織化させるというのは実際のところ、ネットワークに組織化を任せてしまうことに他ならない。このため、どのように組織化されたのかは必ずしも分かるわけではない」と述べている。
ブラックボックスの中身
「ブラックボックス」という問題は、マサチューセッツ工科大学（MIT）のコンピュータ科学・人工知能研究所（CSAIL）が最近発表した論文でも扱われている。この論文では「ジェネレータ」と「エンコーダ」という2つのモジュールからなるニューラルネットワークシステムに、テキストベースのデータを入力して訓練した内容が論じられている。ジェネレータは訓練データから鍵となるテキストの固まりを抽出し、短く、まとまった文字列に高いスコアを与えるようになっている。これらの文字列はその後、分類作業を実行するエンコーダに引き渡される。その目的は、ジェネレータのスコアとエンコーダの予測精度それぞれを最大化させることにある。
このシステムの評価を実施するために研究者らが使用した訓練用のデータセットの1つは、ビールに関するあるウェブサイトで公開されていた約150万件のレビューだった。これらレビューのうちの1000件程度には、特定の文章と、レビュアーの評価（見た目と匂い、味のそれぞれを5段階で評価したもの）の間にある相関関係を示すために手作業でアノテーション（注釈）が付け加えられた。このジェネレータ／エンコーダで構成されたニューラルネットワークが、人間と同じ文章を特定し、同じレビュアーの評価と関連付けた場合、人間同様の評価を行ったことになる。
検証の結果、ニューラルネットワークは、味という難しい観点では若干成績が劣った（80.2％）ものの、見た目（96.3％）と匂い（95.1％）について、人間の注釈結果と高いレベルでの整合性が認められるという素晴らしい成績を収めた。
MITによると、研究者らはこの解釈手法を医療データにも適用し、テキストベース（乳房生検の病理レポート）と画像ベース（マンモグラフィ画像）での実験で検証したとのことだが、その結果に関する論文はまだ発表されていない。
