人工知能(AI)によるビッグデータ分析が可能となり、データ活用ビジネスが急速に広まりつつある。この状況を踏まえて、インプレスは10月10日、都内でビッグデータ×IoT/クラウド/AI(人工知能)を活用したビジネスに焦点を当てたカンファレンス「Data Platform Conference Tokyo 2017」を開催した。
本稿では基調講演で語られたApache Hadoopの可能性やApache Metronの概要、そしてデータ活用事例に焦点を当てて講演内容を紹介する。
まず、Apache Hadoopは大規模データの分散処理を行う支える枠組みとして広くビジネスの現場で使われているOSS(オープンソースソフトウェア)だ。HDFS(Hadoop Distributed File System)という独自のファイルシステムなどをいくつかの技術を組み合わせることで、アプリケーションが数千ノード、もしくはPB(ペタバイト)クラスのデータ処理を可能にしている。
次にApache Metronは、システムやネットワークセキュリティに対する脅威を分析するための枠組みを実現するOSS。Apache Hadoopと同じファイルシステムを使用し、他のソフトウェアと組み合わせてデータ処理や解析、可視化を実現する。ビッグデータビジネスとセキュリティは緊密な関係にあるため、Apache HadoopもApache Metronも注目を集めている。
これらOSSのビジネス展開を行うホートンワークスジャパン 執行役員社長 廣川裕司氏は、データプラットフォームがビジネスの中核になりつつある現状を踏まえて、「OSSは『第3の波』を迎えている」と語る。2011年にYahoo!のApache Hadoopオリジナルチームメンバー24人が設立したHortonworksは、既に2100社を超えるグローバルパートナーを持つ企業である。
クラウド、IoT、ビッグデータの3市場をターゲットに展開しているが、2014年9月に設立した日本法人のホートンワークスジャパンは、OSSのサポートやプロフェッショナルサービス、トレーニングなどをビジネスモデルとし、現在までに12社の国内販売パートナーを持つまでに至った。
「日本では『成長の早いソフトウェア企業』『HDP(Hortonworks Data Platform)/HDF(Hortonworks DataFlow)/HCP(Hortonworks Cybersecurity Package)を次世代の標準化』『顧客から信頼されるデータプラットフォームリーダー』の3本柱で拡大を目指す」(廣川氏)。
ホートンワークスジャパン 執行役員社長 廣川裕司氏
自動車走行時のセンサデータなどビッグデータと呼ばれるデータは多岐多様に及ぶが、「よい業績を上げるには、大量のデータと演算能力が必要」と語るのは、Hortonworks Founder兼Chief Architect兼Apache Hadoop PMCのSanjay Radia氏。
同社は利用シーンを問わずに、分散データシステムの提供や作業を合理化するソリューション「Hortonworks DataPlane Service」を9月に発表したばかり。ビジネスにOSSを活用することでデータのオープン性保持や、セキュリティポリシーの一貫性を維持し、「データのサイロ化を避けて、確実な資産管理が可能になる」(Radia氏)とアピールした。
また、2018年早期リリース予定のApache Hadoop 3.0は、ストレージの最適化や稼働率の引き上げ、特に長期にわたるサービスやスケジュールの拡張が可能になる。「1社で技術革新を生み出すのではなくOSSから刺激や影響を受ける。ロックイン(自社囲い込み)もないのがOSSの良いところ。OSSの精神を大事にしながらプラットフォームを維持したい」(Radia氏)と抱負を語った。
Hortonworks Founder兼Chief Architect兼Apache Hadoop PMC Sanjay Radia氏
現在のセキュリティ分析ツールは多々あれど、「すべてサイロ化している」と警鐘を鳴らすのは、Hortonworks Security ArchitectのDave Russell氏。その理由として「アラート数が多く、1人の担当者が処理するのは限界がある」(Russell氏)からこそ、データの取り込みを行う「Cyber Security Data Ingestion Package」とApache Metronでサイバーセキュリティ分析を行うことで、強固なデータレイクの実現が可能になるという。処理に機械学習を利用することも可能だが、時間がかかるため、Apache Metronのプロファイラーで静的解析をリアルタイムに実行できる利便性が重要だとRussell氏は説明した。
Hortonworks Security Architect Dave Russell氏