Ferrer氏は、新しいプラットフォームのための先進的なアーキテクチャ上の選択肢を広範囲にわたって詳細に議論した。このプラットフォームはValoというブランドを得て同社で用いられるようになり、金融セクター以外の他の市場にも展開することが検討されている。同氏のチームは何もない状態からValoの設計と構築を行った。その際の3つの原則は、スケールアウトと分散、リアルタイムだった。
Valoは自らのエコシステムを持つまでに進化し、Hadoopのエコシステムが提供しているものの多くを備えるとともに、セマンティックルーティングといった技術を活用した真の分散アーキテクチャ(ZooKeeperは必要としない)と、Sparkのマイクロバッチングとは対極にある、リアルタイム処理を考慮して最適化されたアーキテクチャを根拠にその優位性を主張している。
これは実際のところ、Hadoopの作り上げてきた実績あるエコシステムや、大規模な可視性、サポートに脅威をもたらすものなのだろうか?ClouderaのReilly氏にコメントを求めたところ、同社は1秒未満のレスポンスを実現しており、高頻度取引はおそらく別の話になるが、さまざまな意図と目的でリアルタイムのビッグデータエンジンとしてSparkを利用している顧客から不満の声は寄せられていないという答えが返ってきた。真の分散についてはどうだろうか?現実的にZooKeeperのノードは、単一障害点という脆弱性をほぼ排除した、高度に保護された環境下にある。このため、どれだけの高速性とフェイルセーフを必要とする、あるいは要求するのかという問題になってくるだろう。
意思決定面での考察
とは言うものの、主観的だと感じられる部分はここだけではない。TABBのレポートには、「取引をサポートするデータアーキテクチャは複雑だ。世界各地の銀行で前代未聞の罰金が科されている事実を見れば分かるように、大手企業でさえも過ちを犯す可能性がある。Hadoopが登場してからおよそ3年が経過しており、一部の人は成熟していると考えている。そんななか、デジタル世代はAIアプリ向けのリアルタイムなビッグデータの活用方法を模索している。しかし、金融サービス界の大半はまだ理解の緒に就いたばかりだ」と記されている。
この記述にはおかしなところが数点ある。まず、Hadoopは生まれてから既に10年が経過している。Hadoop 2.0とYARNは約3年前に登場しており、これによってリアルタイム処理が可能になったことを考えると、ここに勘違いの原因があるのかもしれない。次に、おそらくこれが最も重要な点だが、データアーキテクチャと金融機関に対する罰金の間に何の関係があるのだろうか?レポートの同じ段落に記されている「米国と欧州の上位10行は、2009年から2015年の間に不正なFXレートやマネーロンダリングといった過失や悪事によって1500億ドルもの罰金を科され、自己資本の14%を無駄にしている」という下りを考えると特にこの疑問は顕著となる。
この論理展開は、「誤った」データアーキテクチャによって、罰金につながる過失や悪事が引き起こされることを示唆しているように見える。しかし、「金融街の人々は、大金を手にでき、逃げおおせられるのであれば、進んで違法行為に手を染める」と考えている人々が70%いるという世論調査の結果を見ても、一般人にとって説得力があるものとは言えないだろう。