編集部からのお知らせ
「ZDNet Japan Summit」参加登録受付中! 
新着記事集:「負荷分散」
海外コメンタリー

注目すべき5つのビッグデータ関連オープンソースプロジェクト

Andrew Brust (Special to ZDNet.com) 翻訳校正: 石橋啓一郎

2015-09-25 06:30

 読者の中には、Apache Software Foundationのプロジェクトリストを見て、気が遠くなった人もいるのではないだろうか。このリストにはトップレベルの重要なプロジェクトから、立ち上がったばかりのプロジェクトまで、数多くのものが並んでいるが、すべてを把握するには数が多すぎる。リストをビッグデータ関連のプロジェクトに限ってさえ、その数はかなり多い。その上、Apache Software Foundationの傘下にはないが、把握しておくべきプロジェクトもある。

 途方に暮れる読者のために、この記事では、把握しておく価値のある5つのプロジェクトを紹介する。

Apache Flink

 「Flink」は、耐障害性のある「exactly once」品質のデータストリーミングエンジンを持ち、バッチ処理をストリーミングの特別なケースとして扱うストリームデータ処理プラットフォームだ。Flinkは機械学習とグラフ処理のライブラリを持っており、ほかの「Hadoop」コンポーネントのうち、「Apache Kafka」「HBase」と互換性がある。

 Flinkは「Spark」に似ているように見えるかもしれないが、耐障害性と、ストリーミングを最優先している点で若干異なる。とはいえ、この2つのエンジンは、適用できるシナリオがかなり重なっており、結果として競争が起こる可能性もある。今後の展開を見守っていくべきだろう。

Apache Samza

 「Samza」プロジェクトはストリーミングデータ処理に焦点を当てている。この分野には「Storm」やSpark、Flink(前述)があれば十分のように思えるかもしれないが、Samzaにはいくつか独自の特徴がある。SamzaはそのままでもKafkaおよび「YARN」と連携させることができるが、同プロジェクトのウェブサイトによれば、プラグインが利用できるアーキテクチャを採用しており、ほかのメッセージングエンジンや実行エンジンとも統合可能だ。

 ストリーミングデータプラットフォームは現在、ハイプサイクルの頂点に来ている。ハイプサイクルの性質上、Samzaに対する期待の大きさと、Samzaによって実際に処理されているストリーミングデータの量は必ずしも比例しているわけではない。しかし、このプラットフォームはやはり重要性が高く、今後ストリーム処理をより一般的なものにする役割を果たす可能性がある。

 KafkaとSamzaはどちらもLinkedInで開発されたものであり、その相性の良さは折り紙付きだ。このオープンソースプロジェクトの立ち上げ前に、そのコードが実際にLinkedInで使われていたという事実は、同社がビッグデータを扱う必要に迫られている大手ソーシャルメディア企業だということもあり、権威があるものと認められ、注目を浴びている。しかし、これがSpark Streamingの人気や、Stormの(特にHortonworksによる)幅広いサポートを超えられるほどのものかどうかはまだ不明だ。

Ibis(Clouderaによるインキュベーション)

 筆者は前にも「Ibis」についての記事(英語)を書いたことがある。このClouderaがインキュベーションしているプロジェクトは、データサイエンティスト向けのもので、分散アプリケーションの世界にプログラミング言語Pythonを持ち込むことを狙ったものだ。Revolution Analytics(現在はMicrosoftの子会社)がR言語で行ったように、IbisのチームもPythonのコードを単一のワークステーションやサーバだけではなく、クラスタ内の複数のノードで実行するための手段を作ろうとしている。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    Google Cloudセキュリティ基盤ガイド、設計から運用までのポイントを網羅

  2. セキュリティ

    仮想化・自動化を活用して次世代データセンターを構築したJR東日本情報システム

  3. ビジネスアプリケーション

    スモールスタート思考で業務を改善! 「社内DX」推進のためのキホンを知る

  4. セキュリティ

    Emotetへの感染を導く攻撃メールが多数報告!侵入を前提に対応するEDRの導入が有力な解決策に

  5. セキュリティ

    偽装ウイルスを見抜けず水際対策の重要性を痛感!竹中工務店が実施した2万台のPCを守る方法とは

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]