Hadoopが秘める可能性:オンプレミスでもクラウドでも使えるプラットフォームの魅力 - (page 3)

鵜澤幹夫

2009-11-05 22:18

Cloudera、Amazon、Yahoo、IBM、Facebook…次々に登壇する豪華講演者

 午前中のジェネラルセッションでは、Cloudera、Amazon、Yahoo、IBM、Facebookが順に登場するという賑やかさ。それぞれの持ち時間が短く、駆け足のセッションとなっていたが、その中でIBMのRod Smith氏が興味深いデモを見せてくれたので簡単に紹介する。同社でのHadoop利用のフレームワークは以下のとおりである。

  • ウェブコンテンツの収集→対象となる情報の抽出→調査と洞察

 デモの内容は、Amexの特許がどのような特質を持つものかという点について、ウェブから集めたデータを基にキーワードを抽出し、その分布状況を可視化するという試み。「Amex+α」 の検索ワードを用いて対象を特許情報に絞り込み、そこでヒットするドキュメントに含まれる使用頻度の高いキーワードを引き出すという、ある種のパーソナライズサーチが実演された。

 IBMでは、AustinにあるスモールHadoopセットを用いて開発を行い、大きな負荷が生じる分析フェーズではAWS(Amazon Web Services)のElastic MapReduceを活用しているという。

 そのAmazon Elastic MapReduceでは、これまでのAWS環境におけるS3との連携を実現している。そのフローは以下のとおりである。

  • 入力→Input S3 Bucket→Elastic MapReduce(Hadoop)→Output S3 Bucket→結果

Hadoop Conferenceが国内でも開催決定!

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    「デジタル・フォレンジック」から始まるセキュリティ災禍論--活用したいIT業界の防災マニュアル

  2. 運用管理

    「無線LANがつながらない」という問い合わせにAIで対応、トラブル解決の切り札とは

  3. 運用管理

    Oracle DatabaseのAzure移行時におけるポイント、移行前に確認しておきたい障害対策

  4. 運用管理

    Google Chrome ブラウザ がセキュリティを強化、ゼロトラスト移行で高まるブラウザの重要性

  5. ビジネスアプリケーション

    技術進化でさらに発展するデータサイエンス/アナリティクス、最新の6大トレンドを解説

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]