Spark
昨年に続いて今年もSparkが輝いていた年になりました。5月にNECが、データに混在する複数の規則性を100倍高速に発見する技術を開発したと発表しました。この技術はSparkをベースに開発したもので、複数のコンピュータにデータを配分し、それぞれのコンピュータで予測モデル群の生成と学習を行い、その後、その予測モデルを1台のサーバに統合後、また複数のコンピュータに配布する。これを繰り返すことで、従来より速いスピードでかつ高精度なモデルに収束できるそうです。
また、IBMはSpark開発環境「Data Science Experience」を発表しました。Data Science Experienceは、クラウドをベースにしたSpark向け開発環境で、これにより開発者は「R」を使ってコードを記述できるようになります。
これら2つの発表は、いずれも6月に米サンフランシスコで開催された「Spark Summit」で発表された内容で、Sparkの盛り上がりを表すものになります。ちなみに、そのSpark Summitでは、それ以外にもMicrosoft、「Microsoft Azure - Apache Spark for Azure HDInsight」、「Microsoft R Client」、「Power BI for Spark」などの複数のSpark関連製品を発表しています。
しかしながら、今年の本命は、「Spark 2.0」の正式版の登場です。今回の最大の新機能は、新しいSQLパーサを採用したことによるANSI SQL（SQL 2003）への対応です。ビッグデータのベンチマークの1つであるTPC-DSの99種類のクエリがそのまま実行可能になります。また、パフォーマンスも大きく改善されています。
ブロックチェーン
今年の初めから少しずつですが、盛り上がっている話題に「ブロックチェーン」があります。ブロックチェーンとは、コンピュータのトランザクションを分散管理する技術で、仮想通貨「ビットコイン」を支える基盤技術として考案されたものです。
特徴は2つあり、1つ目はすべての取引情報をネットワークでつながったすべてのコンピュータで共有するため、あるコンピュータで障害が発生して取引情報が消えても、それ以外のコンピュータに取引情報が残っているのでサービスを継続できるということです。2つ目は、取引情報を分散管理する仕組みが非常に改ざんされにくい点です。
The Linux Foundationは2月に、このブロックチェーン技術の標準化を行う「Hyperledger Project」を設立しました。このプロジェクトは、既存のブロックチェーン技術の問題点（エンタープライズでの利用を設定されていないため、スループットに制限があり、トランザクション処理速度が遅い、プライバシー保護に弱いなど）を解決することを目的として活動しています。
HyperledgerがOSSプロジェクトで運営されている理由は、新しく革命的なポテンシャルを技術で、開発するには複数のスキルセットが必要であったり、特定の会社にコントロールされないためのガバナンスが必要であるです。
日本では、10月に電子マネーサービスの運営などを手がけるアララが、アララの出資先であるテックビューロが開発するブロックチェーンソフト「mijin」を使って独自のトークン「アララコイン」を発行。電子マネーに多い「多対1」の取引を中心に、耐障害試験や負荷試験を実施しました。その結果、1分間に3000以上の取引が可能で、データの改ざんが困難かつデータ消失を防止する仕組みに実用性、容易性が高いことが証明されたと発表しました。
また、11月30日には、金融機関が参加するコンソーシアムが開発したブロックチェーン技術「Corda」がオープンソース化され、Hyperledger Projectにコードが寄贈されました。
2017年には、さらにこの動きが加速され、目を離せない展開になっていくことが予想されます。
Microsoft
Microsoftは、引き続きオープンソースに対してコミットしています。今年オープンソースで公開したものだけでも下記にように多岐にわたります。
- 「Xamarin SDK」（4月27日）
- C言語を拡張した「Checked C」をオープンソース化（6月15日）
- 「PowerShell」をオープンソース化（8月18日）
- オープンソースの全文検索システム「BitFunnel」（9月8日）
- 機械学習ツールキット「Cognitive Toolkit」（CNTK）バージョン2（10月25日）
- 「Azure Container Service（ACS）」のエンジン（11月7日）
筆者は、「Microsoftは、本当にオープンソースに取り組もうとしているのか？」ということを確認するために、今年の7月に本拠地である米国シアトル郊外の本社を訪問し、キーマンとお話をさせていただきました。そのときの感想は「本気だ！」ということでした。
単にAzure上でLinuxやOSSを活用したプラットフォームを提供するだけではなく、上記のように自らの製品もオープンソースとして公開していますし、それ以外のOSSのコミュニティにも積極的に参画し、貢献しています。その最も大きなものとして、11月にThe Linux Foundationにプラチナメンバーとして加盟したことかもしれません。
元最高経営責任者（CEO）のSteve Ballmer氏も「Linuxの脅威は過去のもの」と発言するくらい、OSSを無視できない状況になってきたのかもしれません。
最後に、今年も本連載をお読みいただいてありがとうございました。少しでも皆様のお役にたつ情報を発信していきたいと思いますので、来年もよろしくお願いします。
※本文中記載の会社名、商品名、ロゴは各社の商標、または登録商標です。
- 吉田行男
- 日立ソリューションズ 技術開発本部 研究開発部 主管技師。 2000年頃より、Linuxビジネスの企画を始め、その後、オープンソース全体の盛り上がりにより、 Linuxだけではなく、オープンソース全般の活用を目指したビジネスを推進している。 現在の関心領域は、OpenStackを始めとするクラウド基盤、ビッグデータの処理基盤であるHadoop周辺及びエンタープライズでのオープンソースの活用方法など。
