ただ、このパーセプトロンは、3つの問題点を抱えており、これが解決できないことから、第1次ブームは終了することとなった（実際には当時は1のみが指摘された）。
- 線形分離可能なデータにしか用いることができない
- 特徴を人間が教えなければならない
- 精度を高めるには膨大な数のデータを学習する必要がある
まず、（1）については、例えば、リンゴとミカンが非常に似ていて、さまざま々な角度から見ないと区別ができない場合には、パーセプトロンは使えない、ということである。
次に、（2）であるが、リンゴとミカンを区別するのに、単純に白黒にするのではなく赤の成分に着目するなど、特徴を際立たせるための処理を、事前に人間の手で担う必要があるということである。（3）については、99%などの高精度での「認識」を達成するためには、数千から数万の画像を記憶させる必要があると言われており、当時のマシンパワーでは困難であった。
この3つの問題点に対し、第2次ニューラルネットワークブームは、（1）を解決する「誤差逆伝搬法」という方法が、1986年に米国の心理学者David Rumelhart氏らが発明したことがきっかけで引き起こされた。誤差逆伝搬法は、簡単に言うと、入力層と出力層の間に新たな「層」を設け、ニューロン間の結合を「多層」にするということである。これにより、入力されたデータを「さまざまな角度から見る」ことが可能になった。
誤差逆伝搬法によって、（2）が解決されたということは、特徴を人間が教えさえすれば（2を人間が行えば）、また、膨大なデータを学習させれば（3を行えば）、どんなデータでも区別して「学習」できてしまうということである。このため、多くの研究者が「誤差逆伝搬法」を用いたニューラルネットワークの開発に躍起になり、「人工知能の実現は近い」と期待された。
ところが、当時のマシンパワーでは、実際は膨大なデータを多層で十分に学習させることは難しく、文字認識などの応用事例は幾つも見られたものの、研究としてはほとんど行われなくなっていった。
しかしながら、近年のマシンパワーの急激な成長により、ニューラルネットワークが再び見直され、階層を増やして膨大なデータを高精度で分類する「深層学習」が可能になり、第3次ニューラルネットワークブームが、今まさに起こっている。
ニューラルネットワークが多層化されたことにより、（2）の入力データの特徴も、機械が自動的に抽出することができるようになった。さらに「猫の特徴を持つ細胞（ニューロン）が自動的に作られた」という事例が報告されるようになり、ニューラルネットワークの研究は益々加速されるようになった。
