米国家安全保障局(NSA)は2014年11月、データフローオーケストレーションソフトウェアである「Niagrafiles」(NiFi)をオープンソースとして提供した。
NSAらしからぬその行動をいぶかしむ者もいたが、公正を期して言えば、NSAがオープンソースコミュニティにテクノロジを寄贈するのはこれが初めてのことではない。その3年前にも、データベース「Accumulo」をApacheに寄贈している。
また、米国時間2015年8月下旬には、NSAのプロジェクトから生まれたApache NiFiを手がける企業Onyaraが、Hadoop関連企業として有名なHortonworksによって買収されたことで、この技術は再び脚光を浴びた。
データフローオーケストレーションツールであるNiFiは、「国外における諜報活動の要求に対処する」というNSAの業務の一環として作られたものだが、Hortonworksの最高技術責任者(CTO)であるScott Gnau氏によれば、いまやモノのインターネット(IoT)テクノロジの最前線で重要になっているという。
「IoTには、いくつか解決する必要がある大きな技術的課題がある。第1は、従来の処理や静止しているデータと違い、センサから常にデータが送信され、またセンサに対して通信を返さなくてはならない場合もあり、ときにはセンサ同士で通信する必要もあるということだ」と同氏は言う。
「これは従来型の単方向のストリーミングやデータフローとは違い、双方向であり、かつポイントツーポイントの通信だ。これは技術的にも、要件の観点からも大きく異なっている」(Gnau氏)
NiFiが、ストリーミング処理のフレームワークである「Apache Storm」やリアルタイムマイクロバッチ処理ツールである「Spark Streaming」と違っているのはこの点だ。
「これらは単方向のストリーミングの仕組みであり、非常によい技術だ。利用できるケースも多く、もちろんわれわれはこれらのテクノロジを統合している」とGnau氏は言う。
「しかし、IoTに関して言えば、これらのテクノロジにはそれぞれ個別の制約がある。これらの技術は、ポイントツーポイントの通信ごとに個々に導入する必要があり、拡張性に優れているとは言えない」(Gnau氏)
「NiFiとこれらは非常に似ているように見えるかもしれないが、利用できるケースはかなり異なっており、これらはすべて、幅広いデータアーキテクチャで展開される可能性のあるさまざまなプラットフォームの一部だ」(Gnau氏)
Hortonworksは独自のNiFiディストリビューション(「Hortonworks DataFlow」)を発表している。実験に利用できるサンドボックスもダウンロード可能になり、マニュアル、実装のヒントやテクニック、サポートおよびコンサルティングサービスなども同時に提供される。
同社は、Hortonworks DataFlowを、IoTのデータフローのオーケストレーション、管理、検証を行うソフトウェアのパッケージであると説明している。
「これは、電力会社が従来のモデルから進化したのに似ている。かつて電力会社は発電所を建設し、送電網を通じて顧客に向かって一方的に電力を送っていた。これは従来のデータの動きと同じだ」(Gnau氏)
「しかし現在は、電力グリッドに接続されたソーラーパネルが使われている。今では、千単位の発電ポイントと、数百万単位の顧客が存在するわけだ。その電気の流れの最適化は、従来の課題とはまったく異なっている。IoTにおけるデータフローについても、同様の課題がある」とGnau氏は述べている。
IoT関連でNiFiが役立つ2つ目の重要な分野は、コントロールの境界の概念が変わるようなケースだ。
「データレイクなどの従来のデータ処理では、安全を確保する必要のある境界領域はデータセンターであったり、クラウド上に実装した場合にはクラウド中のサーバの周囲であったりした。このようなケースでは、守る必要のあるサーバの数は限られていた」(Gnau氏)
「新しい世界では、セキュリティやプライバシー、データ保護などの対象が、センサにもおよぶ。プロトコルも、種類も、設置される場所も異なる何百万個ものセンサが対象になる可能性があるため、われわれはこれを『不揃いなエッジ(jagged edge)』と呼んでいる。安全な経路を確立し、その境界領域を理解できるようにすることは、Apache NiFiが特に得意とする、非常に新しく、興味深い課題だ」(Gnau氏)
HortonworksのCTO Scott Gnau氏
提供:Hortonworks