データとアナリティクスの世界には、多くの専門家がおり、多くのオピニオンがある。1年の変わり目は、専門家の分析と予測を収集し、それを分析してまとめるのには絶好の機会だ。例によって、2019年の年末には、多くの専門家がビッグデータや人工知能(AI)、クラウド、人材不足などの問題についての予想を公表した。以下では、それらの予想をまとめてテーマごとに整理する。
終わった話?
2019年を総括するオピニオンのほとんどが、「Hadoop」とビッグデータが死に体になったことに言及しているが、同時に、その状況は誇張されすぎているとも指摘されている。
Alluxioの創業者であり、同社の最高技術責任者(CTO)を務めるHaoyuan Li氏は「Hadoopは死に体になった言われることが多いが、Hadoopのエコシステムには期待の星も存在する。『Spark』や『Presto』などのコンピューティングフレームワークは、データからより多くの価値を引き出すことができ、幅広いコンピューティングエコシステムに組み込まれている」と述べており、さらに「HDFS(Hadoop分散ファイルシステム)は使われなくなるだろうが、Hadoopのコンピュートは今後も存続するし、その勢いは衰えない」とも付け加えている。
Yellowbrick DataのCTOであるBrian Bulkowski氏も、「ビッグデータは完全に死に体になったが、そのデータレイクは残る」と、Li氏と同様の「死に体になったが生きている」という議論を展開している。さらに、SASでデータ管理およびデータプライバシーソリューションの製品マーケティング責任者を務めるTodd Wright氏は、「ビッグデータの可能性は、これまでも単にデータを増やすこと、そしてより多くのデータソースから得られるものではなかった。データからより優れた知見を得るための分析モデルを開発する必要があった」と述べている。
アナリティクスの主流になったAI
ビッグデータを称賛するような気運はなくなりつつある今、分析モデルといえば、人工知能(AI)について触れないわけにはいかない。しかしここでは、過去のAIに対する過剰な期待は忘れよう。最近では、AIと機械学習はアナリティクスと別のものではなく、AIは広義のデータアナリティクス分野に含まれる専門領域の1つになるというコンセンサスが徐々に生まれつつあるようだ。今後は、現在は各分野で別々に運営されているチームが、合流したり、より緊密に協力したりするようになり、スキルもある程度は共通化していくだろう。
AlluxioのLi氏はこの問題について、「AIのチームとアナリティクスのチームが1つに統合され、データを扱う組織の新しい基礎になるだろう」という形で述べている。 同氏によれば、「AIは構造化データのアナリティクスのための次のステップだ。これまでは統計モデルだったものは、計算機科学と統合されてAIと機械学習になった。データチーム、アナリティクスチーム、AIチームは同じデータから価値を引き出すために協力する必要がある」という。Fractal AnalyticsのマネージングパートナーであるEugene Roytburg氏は、「AI(機械学習)は広義のアナリティクスの一部としてより明確に定義されるようになる。また、応用分野と価値の創造についての定義も改善されるだろう。多くの企業は、この2つについて誤解している(後略)」と述べている。