集合知とコンピュータの関係性
まず集合知とコンピュータの関係性から述べる。
従来の業務システムは、もともと人間がやっていたことのうち比較的単純な作業の一部をシステム化し、人間よりも速くてミスの少ないコンピュータにやらせることで業務効率化を図るというものであった。
この場合、人手でシステム化を担うことになるため、人間がやっている作業をプログラム化するなどしてコンピュータに教え込むことが必要になり、システム化できるのは、プログラム化できるほど細部まで正確に把握できていることに限られることになる。
人間は、経験則や長年の勘という言葉に象徴されるように、細部までは理解していなくても判断基準として用いるには、十分に確かであると感じられるくらいの基準を持っており、業務で発生するさまざまな事象に対処するのにこの能力を最大限に利用しているが、この類の「知」はシステム化しにくいものの代表であろう。
一方で、ビッグデータ分析は、分析方法を考え、そのプログラムを書くのは分析者だが、計算自体はコンピュータで実行する。その結果得られる集合知は、「この式に当てはめて計算した値がいくつ以上ならこうなる」というものか、あるいは「この場合はこうなる」という単純な法則を大量に集めたものともとらえられる。うまく取り出せた集合知は、1つひとつの法則は単純でも、それを大量に集積することで複雑な事象にも対処できるようになるわけだ。
これらは、プログラムの形こそしていないものの、機械的にプログラムに落とし込むことができるため、コンピュータがそのまま利用するのに適している。さらに、「こうなるならこれをする」という指示を与えておけば、集合知によって高度な判断を身につけたコンピュータが対応してくれる仕組みが構築できるのである。
少し本筋から逸れるが、ビッグデータ分析から得られた集合知を人間が読めるかどうかというのが問題になる場合もある。人間が、ある事象の原因を読み解く目的でビッグデータを分析する場合などである。
データの大きさの問題もあるが、人間が解釈できるかどうかは、主に分析のモデリング方法に依存する。一概には言えないが、採用する分析モデルが複雑なほど、複雑な事象にも対応できる可能性が上がる半面、式が複雑すぎたり、法則の数が多すぎたりして、人間には読みづらいものになる。
一方で、そもそも複雑であることがわかっている事象に単純なモデルを適用しようとしても、今度はモデルの精度が低くなる。結局、人間が複雑だと感じる事象には、複雑なモデルが必要になるため、集合知の読み解きにさらに分析を必要とするという事態に陥りやすい。
また（人間の経験則でも大概うまくいっているが）「思いもよらない結果」が出ることを期待してビッグデータを分析するという向きもあるかもしれないが、それこそ筆者の経験則では、人間の経験則は大概正しく、ビッグデータ分析でも経験則と大筋は一致した結果を得られることが多いと感じている。
この場合は、経験則の定量化や、経験則の及ばない小さな変動や事象に対する説明を得る以上のことを望むと本末転倒になる恐れがあるため、注意したい。
