編集部からのお知らせ
「ZDNet Japan Summit」参加登録受付中! 
新着記事集:「負荷分散」
海外コメンタリー

「Spark」開発者会議で感じた進歩と物足りなさ、将来への期待

Doug Henschen (Special to ZDNet.com) 翻訳校正: 石橋啓一郎

2017-02-20 06:30

 米ボストンのハインズコンベンションセンターで米国時間2月7日~9日に開催された「Spark Summit East」には、開催施設の変更や、移動を邪魔する北米大陸北東部特有の嵐などの困難にもかかわらず、1500人もの参加者が集まった。これは「Apache Spark」の普及がますます進んでいることを証明しており、このイベントでは、機械学習や深層学習、ストリーミングアプリケーションなどの分野における改善が話題になった。

 サミットの規模はニューヨークのヒルトンホテルで開催された前回よりも拡大したが、窮屈な会場に大勢の人が詰め込まれていた前回と、広大なハインズコンベンションセンターを使った今回では、比較は難しく感じられた。参加者は技術者中心で、前回との違いがあるとすれば、今回はビジョンよりもハウツーに重点が置かれていたように見えた。また、自社の導入事例を紹介する大企業の基調講演が減り、ベンダーのものが増えた。


DatabricksのMataei Zaharia氏はこの1年で起きたSparkの進歩を概観し、導入事例の増加や、ストリーミングデータ分析を含むさまざまな分野での性能向上について強調した。

 サミットでは、SQLや機械学習に関するベストプラクティスなども話題になったが、「スケーラブルなメタゲノム分析でのSpark利用」や「Sparkを用いたアンドロメダ星雲のデータ分析」といったニッチな話題も多かった。Sparkの現状について語った基調講演には、次のようなものがあった。

 Sparkの創始者でありDatabricksの最高技術責任者(CTO)を務めるMataei Zaharia氏は、技術的な進歩に関する最新状況やSparkプロジェクトの今後の展開の概要について語った。講演の中心は、リアルタイム情報の時系列分析とストリーミング分析を同時に行う必要のある連続処理アプリケーションへの対応の充実に関するものだった。その代表的な適用例の1つが不正利用検知で、異常な活動を検知し、不正の可能性があるトランザクションをリアルタイムに排除するには、最新のストリーミング情報を、時系列的なパターンと連続的に比較する必要がある。

 Sparkは以前から高速なバッチ処理によるアナリティクスをサポートしていたが、2016年2月に「Spark 2.0」がリリースされるまで、ストリーミング処理への対応は、マイクロバッチを利用したもの(つまり最大で数秒の遅延が発生する)に限られていた。Zaharia氏によれば、2016年12月にリリースされた「Spark 2.1」で、バッチクエリとストリーミングクエリの両方に対応した新しいハイレベルAPIである構造化ストリーミングが改善され、対応がさらに充実したという。同氏は実際の例として、初期のベータ顧客であるViacomが、構造化ストリーミングを使ってMTVやComedy Centralを含むケーブルチャンネルの視聴状況を分析している事例や、iPassがWi-Fiネットワークの性能とセキュリティを連続的に監視している事例を挙げた。

 SalesforceのシニアエンジニアリングマネージャーAlexis Roos氏は、利用が広がりつつあるSalesforceの「Einstein」を支える機械学習や自然言語処理、深層学習でSparkが果たしている役割について詳しく説明した。Intelのビッグデータ技術担当バイスプレジデントZiya Ma氏も、「Apache Sparkによる大規模な機械学習および深層学習の高速化」と題した基調講演で、Sparkを使用した人工知能の未来について語った。またIBMのJames Kobielus氏は、このブログ記事で深層学習に対するSparkの貢献についてうまくまとめている。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    Google Cloudセキュリティ基盤ガイド、設計から運用までのポイントを網羅

  2. セキュリティ

    仮想化・自動化を活用して次世代データセンターを構築したJR東日本情報システム

  3. ビジネスアプリケーション

    スモールスタート思考で業務を改善! 「社内DX」推進のためのキホンを知る

  4. セキュリティ

    Emotetへの感染を導く攻撃メールが多数報告!侵入を前提に対応するEDRの導入が有力な解決策に

  5. セキュリティ

    偽装ウイルスを見抜けず水際対策の重要性を痛感!竹中工務店が実施した2万台のPCを守る方法とは

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]