データウェアハウス(DWH)大手の米Teradataのユーザーコンファレンス「Teradata 2014 PARTNERS」(米国時間10月19~23日にテネシー州ナッシュビルで開催)では、データ分析強化の機能拡張や新ソフトウェアの詳細が紹介された。今回のコンファレンスで最も注目されたのは、「Teradata QueryGrid(QueryGrid)」である。
これは、DWH専用データベース「Teradata Database」と非構造化データ分析ソフトの「Teradata Aster」からのクエリに対し、複数のデータソースをリアルタイムで相互接続するもの。これによりユーザーは、異なるデータロケーションに格納されているデータを統合し、迅速に分析結果を得ることが可能になる。
QueryGridの概念図。ノード間の接続にはInfiniBandが採用されている
データの処理は、データが格納されている場所で実行する「プッシュダウン方式」を採用しており、データの移動を最小限に抑制している。例えば、Hadoopに格納されているデータはHadoop内で処理し、分析結果のみをAsterに戻すといった具合だ。展示会場の製品担当者は「以前であれば、Hadoopにアクセスするためには、Hadoopに関する知識が必要だった。しかしQueryGridにより、そうしたハードルは取り払われた」とその利点を強調する。
また、Oracleをはじめ、HortonWorks、Clouderaが提供するデータベースとのコネクタが提供されている点も大きなアドバンテージである。2015年第1四半期にはmongoDBのコネクタも提供する予定となっており、「複数プラットフォーム間でのデータ連携の簡素化で、データ抽出から分析結果を導き出すまでの時間と手間を大幅に短縮できる」(説明員)と説明している。
各データベースと、AsterおよびTeradata(Database)のノード間の接続にはInfiniBandを採用しているため、データを高速に転送できる。QueryGridはDWH専用データベースの最新版である「Teradata Database 15.0」の拡張機能として搭載されている。
Hadoop内のデータを管理する「Loom」
もう1つの注目は、「Teradata Loom(Loom)」である。7月に買収したRevelytixが開発したLoomは、Hadoop内に蓄積されたデータファイルとその処理の流れを把握する。メタデータ管理や入力ファイルを自動的にスキャン、登録する。さらにデータの整形や加工処理と、処理に伴う各データの派生経路を把握する機能を提供する。
Loomはビジネス部門でも利用しやすいようブラウザベースのUIとなっている。画面は処理に伴う各データの派生経路を可視化した画面
展示会場の製品担当者は、「Loomは、『このデータは何か』『どこから来たのか』『どの処理で使用されたのか』を明らかにする。Hadoop内をスキャンして新ファイルを発見すると、作成日やカラム名、ファイル構造を読み込み、メタデータを保存する。ファイル構造やカラムの値を変更することも可能だ」と説明する。
Loomは単体のソフトウェアとして「Hortonworks Sandbox」「Cloudera QuickStart VM」のディストリビューションに同梱されるほか、Teradata Developer Exchangeからも配布される。
CPU上で直接データを処理する
「Teradata Intelligent Memory」の機能も強化された。使用頻度の高いデータをCPU上に直接格納し、処理できるようになるという。
展示会場には最新のハイエンドモデルの専用機「Teradata Enterprise Data Warehouse」が展示されていた。もちろんIntelligent Memoryも搭載されている
Intelligent Memoryは、データのアクセス頻度を“温度”によって管理するものだ。アクセス頻度の高いデータは“ホットデータ”としてインメモリ上に格納する。一方、一定期間(約1年)以上アクセスがないデータは、“コールドデータ”として圧縮したうえでハードディスクドライブ(HDD)に格納するといった具合だ。ホットデータを自動的かつ透過的にインメモリに格納することで、SQLを書き換えることなくインメモリデータベースの性能を向上を実現する。
今回の機能強化は、「インメモリよりもさらに高速なアクセスを目指した」(Teradata LabsプレジデントのScott Gnau氏)ものだ。同機能は米Intelと共同開発したもので、「Haswell」(開発コード名)に搭載される。リリースは2015年上半期中でTeradata Database 15.10に搭載される予定だという