もしも現場にHadoopが入ったら… Hadoop×NSSOLが変える3つのデータ活用ストーリー

金融 … オンライン詐欺対策ソリューションとしてのHadoop
～RDBMSからHadoopへの移行で30％のパフォーマンス向上

金融機関への不正なアクセス

　オンラインバンキングが一般化するにつれ、金融業界にとって世界共通の悩みが不正ログインによる詐欺行為の蔓延だ。とくにここ数年のオンライン詐欺は手口が巧妙化しており、ハッキングのためのマルウェアも広く流通している。大規模な組織が一丸となってひとつの標的を襲うケースも多く、もはやIDとパスワードの組み合わせによる単純な認証だけではオンライン詐欺を防ぐことは難しい。オンライン詐欺の被害額は国内でも年間数千億円に上るとされており、早急な対策が叫ばれている。

　こうしたトレンドを受け、国内大手金融機関であるA銀行はオンライン詐欺対策ソリューションとして、従来のRDBMSで組んでいたシステムを刷新することを決定する。オンライン詐欺を防止するには、膨大なログやトランザクションから、異常な振る舞いおよびその振る舞いを行っているユーザを、可能な限りすばやく特定することがカギとなる。そのためには、多様なデータ形式(Webログ、サーバログ、ユーザのトランザクション記録、…)に対応していることに加え、生データを構造化データに変換するETL処理にかかる時間をできるだけ短縮し、すぐにデータが分析できることが望ましい。また対象とするデータは今後も増え続けることが予想されるため、十分にスケールする機能をもちながら、コストの負担を最小限に抑えることが可能なソリューションが求められる。当然ながら、オンライン詐欺対策は喫緊の課題であり、ソリューション導入が数年単位のプロジェクトになることは許されない。

　新システムの構築にあたり、A銀行がNSSOLから推奨されたのがHadoopの導入である。オンライン詐欺を防ぐには、毎日の膨大なセッションの中から不正行為と思われる異常な振る舞いを迅速に浮かび上がらせることが肝要となる。不正行為のモデリングには、ペタバイトクラスともいえる大量のデータを保存できるシステム - 数万を超えるテーブル数、数十億に上る日々のログインセッションも含め、さまざまなデータソースから取得した大量で多様なデータを収集し、処理できる蓄積/分析基盤がまず必要になる。日々のトランザクションデータやWebログ、さらにはソーシャルメディアまでを含むあらゆる構造化/非構造化データに対応でき、コモディティなx86サーバで構築できるHadoopシステムは、スケーラビリティの面でもTCO削減の面でも十分に期待に応えられるものとなるはずだ。また、Hadoopは処理台数が増えれば増えるほど、クラスタ全体の処理能力も増え、パフォーマンスがリニアに伸びていく傾向をもつ。したがって、今後、分析対象のデータがますます増加することが予想されているが、Hadoopにノードを順次追加していくことで、パフォーマンスの劣化を防ぐことができるはずだ。

　Hadoopディストリビューションには、Apache Hadoopの基本機能に加え、監査機能や災害復旧機能、クラスタ管理機能などセキュリティ面の機能強化がなされているCloudera社のCDHを選択した。とくにデータアクセスの履歴を保存/インデックス化できる監査機能を備えたCloudera Navigatorは、不正行為の割り出しに大きく貢献するだろう。

　導入にあたっては、NSSOLの「Hadoop導入検証(PoC)サービス」を利用することにした。同サービスは

　の3つのメニューが用意されており、最初のステップであるエントリーは無償でトライすることができる。エントリーメニューを利用して、一部の重いバッチ処理をHadoopに移行したところ、アプリケーションのSQLをHiveに書き換える程度の作業で、30%以上の処理時間を削減できている。今回PoCで取り上げなかった処理についても、Hadoopに移行することでパフォーマンスが向上する可能性がある。検証に要した時間は3週間程度で、このエントリーの結果をもとに今後はベーシック、アドバンスと進めていき、費用対効果を確認しながら適切な構成を検討する予定だ。

　億を超える正規のセッションの中からたったひとつのオンライン詐欺をあぶりだす作業は、ビッグデータ分析を表現するとき使われる、「わらの中にある一本の針を見つけ出す」という例えそのものだ。そして通常のRDBMSでは難しいこの作業も、Hadoopならば現実の解として提供することが可能になる。