「Apache Spark 1.4」が公開--R言語をサポート、機械学習パイプラインAPIが安定版に

Toby Wolpe (ZDNet.com) 翻訳校正: 編集部 2015年06月15日 10時36分

  • このエントリーをはてなブックマークに追加

 分析クラスタフレームワーク「Apache Spark」は、人気の統計向けプログラミング言語「R」へのアクセスを提供することでデータサイエンティストの仕事を容易にすることを目指す。

 一般公開された最新の「Apache Spark 1.4」では、Python 3のサポートに加えてRもサポートされた。R言語ユーザーはR言語向けのAPIである「SparkR」を利用して、大規模なデータセットを直接利用できる。

 SparkRはカリフォルニア大学バークレー校のAMPLabで開発されたもので、Apache SparkにRのフロントエンドを提供するものだ。Sparkの分散型コンピュータエンジンを利用して、ユーザーは大規模なデータ解析をRシェルから動かすことができるという

 Spark 1.4はこのほかにも、Sparkの「DataFrame API」を強化し、Spark SQLとDataFrameライブラリに、ユーザーがウインドウの範囲上で統計を計算できるWindow機能が加った。

 「DataFrameオペレーションの実行を高速化するために、Spark 1.4ではパフォーマンスに関する幅広い取り組みである『Project Tungsten』の一部を初期実装した。Tungstenは次期1.5で重要な機能となるものだ。Spark 1.4は、シリアライザのメモリ利用を強化し、バイナリアグリゲーションの高速化を実現する」とSparkベンダーDatabricksのPatrick Wendell氏は述べている。

 Wendell氏はSpark 1.2で実験導入した機械学習パイプラインAPIについても触れており、Spark 1.4では安定版となり、運用環境で利用できるとしている。

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

SpecialPR

連載

CIO
研究現場から見たAI
ITは「ひみつ道具」の夢を見る
内製化とユーザー体験の関係
米ZDNet編集長Larryの独り言
今週の明言
「プロジェクトマネジメント」の解き方
田中克己「2020年のIT企業」
松岡功「一言もの申す」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
Fintechの正体
内山悟志「IT部門はどこに向かうのか」
情報通信技術の新しい使い方
三国大洋のスクラップブック
大河原克行のエンプラ徒然
コミュニケーション
情報系システム最適化
モバイル
通信のゆくえを追う
セキュリティ
サイバーセキュリティ未来考
セキュリティの論点
ネットワークセキュリティ
スペシャル
Gartner Symposium
企業決算
ソフトウェア開発パラダイムの進化
座談会@ZDNet
Dr.津田のクラウドトップガン対談
CSIRT座談会--バンダイナムコや大成建設、DeNAに聞く
創造的破壊を--次世代SIer座談会
「SD-WAN」の現在
展望2017
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
HPE Discover
Oracle OpenWorld
Dell EMC World
AWS re:Invent
PTC LiveWorx
古賀政純「Dockerがもたらすビジネス変革」
さとうなおきの「週刊Azureなう」
誰もが開発者になる時代 ~業務システム開発の現場を行く~
中国ビジネス四方山話
より賢く活用するためのOSS最新動向
「Windows 10」法人導入の手引き
Windows Server 2003サポート終了へ秒読み
米株式動向
実践ビッグデータ
日本株展望
ベトナムでビジネス
アジアのIT
10の事情
エンタープライズトレンド
クラウドと仮想化