3つ目の分野は、デバイス間で交わされる情報の移動によって作り出された、巨大で複雑なデータフローネットワークの管理だ。
「その管理とインフラは、従来のデータフローやストリーミングよりも、もう少し複雑なものだ。このため、『データ来歴』という興味深い考え方が登場している。これは、センサから得たデータが不完全であることが分かること、および、データを処理するのではなく、自動的にデバイスと通信してデータを入手できること、ネットワーク上の各ホップを経由してポイントツーポイントで移動するデータが正しいものであると信頼でき検証できることを意味している」とGnau氏は述べている。
「この来歴の考え方は、さまざまな意味で興味深い。プライバシーの観点は当然として、アナリティクスの完全さの観点や、規制の観点からも、来歴の追跡可能性は非常に興味深いものになるだろう。これも、Apache NiFiが可能にするものだ」（Gnau氏）
NiFiの仕組みにはデータを収集するセンサで実行されるプロセスも含まれており、セキュリティラッパーや来歴の機能も含まれる。
「これを、別のエッジである仮想マシンと組み合わせることで、セキュリティ境界がエンドツーエンドで暗号化によって管理され、来歴の仕組みが組み込まれたネットワークを作ることができる」とGnau氏は言う。
NiFiはその性質上、帯域をより効果的に管理することにも利用できる。IoTの応用によって生成されるデータが膨大な量になる可能性があることや、多くの場所では帯域に物理的または経済的な制約があることを考えれば、これは重要な問題だ。
「IoTは移動する機械で利用されることも多いだろう。ネットワークに接続された自動車などで使われるかもしれない。例えば、ブレーキにセンサが取り付けられており、ブレーキが過熱するとそのセンサがメーカーに無線ネットワーク経由で情報を送り、メーカーは保証契約を管理しながら、車両の保守を積極的に行うといったことも考えられる」とGnau氏は説明する。
「それはもちろんいいことだ。しかし、それらの無数のデバイスが、世界中のさまざまな地域のさまざまな無線ネットワークに散らばり、帯域も制約される可能性があることを考えれば、送信するデータに優先順位を付け、概要レベルの情報だけを送るようにしたり、異常が検知された場合にだけデータを送信するようにすることは重要だ。その上で、中央の処理プロセスから、そのデバイスに逆に通信を行い、特定の部品のデータを要求することもできる」（Gnau氏）
NiFiは、適切なデータだけを送信することを可能にする機能に加え、双方向のデータフローの監視および管理を支援する処理アルゴリズムとGUIを備えている。
「別の例としては、取得した画像データを送信するセンサを持っている場合が挙げられるだろう。そのような場合、サムネイル画像を最初に送信したいかもしれない。何か異常が見つかった場合は、そのデバイスに戻って高解像度版の画像を取得することができる」と同氏は言う。
「これらすべての機能は、上位構造に組み込まれている。これは、StormやSparkとは違う種類のものだ。このテクノロジは相互に通信するデバイスやセンサと、その通信パスを最適化することに向いている」（Gnau氏）
Hortonworksにとっては、NiFiとHadoopを連携させること、つまり移動するデータと静止しているデータを連携させることが戦略的に重要だという。
「もちろん、移動するデータは、多くの場合どこかに到着する。その多くは、最終的にHadoopの中に入ることになる可能性が高い。そのデータから多くのアナリティクスが作成され、移動するデータのネットワークに送り返されて、最適化のために利用されるか、元のデバイスに対するアクションを起こすために使われるだろう。これは、一種の閉じたループになっている」とGnau氏は言う。
「これは非常に密接で、共生的な関係であり、IoTはこれまでよりはるかに多くのデータを生み出すことになるはずだ。これは、従来のツールを使ってより広範なアナリティクスを行えるチャンスであり、それにはHadoopの分野ではまだ開発されていないツールも含まれるかもしれない。また、NiFiへ向かうインターフェースも極めて重要だ」（Gnau氏）
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
