編集部からのお知らせ
Pick up! ローコード開発の行方
「これからの企業IT」の記事はこちら

LinkedIn、データマイニングソフト「WhereHows」をオープンソースに

Larry Dignan (ZDNet.com) 翻訳校正: 編集部

2016-03-04 11:05

 ビジネス特化型SNSのLinedInは、社内で利用しているエンタープライズ情報のデータマイニングポータル「WhereHows」をオープンソースとして公開すると発表した。

 LinkedInはWhereHowsを「データ発見・系統付けポータル」と呼んでいる。ビジネスの観点から見ると、WhereHowsはメタデータを利用して複数のデータストアからデータを発見し引き出すためのソフトウェアだ。

 LinkedInによれば、同社のWhereHowsのレポジトリは、容量にして合計で15ペタバイトを超える5万件のデータセット、1万4000件のコメント、3500万件のジョブ実行履歴情報、および関連する系統付け情報のステータスを保持しているという。

 同社はブログ記事で、WhereHowを作った理由を説明している。同社のデータエコシステムは個々の作業に特化して設計されたアプリケーションが増えすぎた結果多様化が進み、さまざまなスケジューラや「Infomatica」「Spark」「Hive」「Oracle」「Hadoop」「Teradata」など、ありとあらゆるシステムを包含するようになってしまったという。さらに同社は次のように述べている。

 LinkedInのビッグデータエコシステムは、多様化が進みすぎてしまった。当社は多数の異なるデータソースやデータストアを持っている。このため、さまざまなスケジューリングエンジンによって動作するいくつものプロダクションパイプラインを作成しており、さらにデータを引き出し処理するのに用いるさまざまな変換エンジンをサポートしている。この種の専門化は、作業に最も適したツールを利用できるという点では優れているが、別の新たな問題も生み出す。さまざまな処理フレームワークやデータプラットフォーム、スケジューリングシステムにまたがるデータのフローと系統を全体的に把握することが、非常に難しくなってしまう。これによって、知見を得るために適切なデータセットを見つけようとする従業員の生産性が低下したり、破損したデータの発見や優先順位付けの作業が困難になる、重複する計算処理の発見と排除の機会が失われるなどの、多くの問題が生じる。

 WhereHowsはLinkedInが持つさまざまなデータ処理ソフトウェアを統合し、メタデータを取り込む。その後、ウェブアプリおよびアプリケーションプログラムインターフェース(API)を通じて、データを発見する。WhereHowsのパーツには、レポジトリ、ウェブサーバ、他のシステムからメタデータを取得するバックエンドサーバが含まれる。

 アーキテクチャは、以下の図のようになっている。


 LinkedInは、オープンソースコミュニティーにWhereHowsを公開することで、このソフトウェアの開発に支援が得られることを期待している。

この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

特集

CIO

モバイル

セキュリティ

スペシャル

ホワイトペーパー

新着

ランキング

  1. クラウドコンピューティング

    社員の生産性を約2倍まで向上、注目の企業事例から学ぶDX成功のポイント

  2. コミュニケーション

    真の顧客理解でCX向上を実現、いまさら聞けない「データドリブンマーケティング」入門

  3. クラウドコンピューティング

    家庭向けIoT製品の普及とともに拡大するセキュリティとプライバシー問題─解決策を知ろう

  4. クラウドコンピューティング

    クラウドの障害対策を徹底解説!4つの方法とメリット、デメリット

  5. セキュリティ

    サイバー犯罪の標的となるMicrosoft製品、2019年に悪用された脆弱性リストからの考察

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNet Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]