ビッグデータはないけどバッチ処理はある そんな企業こそHadoopを - (page 3)

五味明子

2011-12-08 16:26

AsakusaとJP1/AJSが連携

 最後は日立製作所のJP1とAsakusa Frameworkの連携についての解説が行われた。

 ご存知の向きも多いと思うが、JP1は多くの調査レポートで国内シェアNo.1を獲得している運用管理ソフトウェアである。「システム全体の稼働状況を見る」「システムの基盤を支える」「IT資産を確実に守る」「計画的に業務を動かす」という4つのコンセプトカテゴリをベースにしている。

 JP1がHadoopおよびAsakusa Frameworkとの連携を求められるのは、スケジューリングや実行監視などバッチ処理の実行管理と、インフラ部分の運用管理においてである。つまり上で挙げた4つのコンセプトのうち、「システム全体の稼働状況を見る→モニタリング機能」と「計画的に業務を動かす→オートメーション(自動化)」の機能が重要になる。

 日立ソリューションズでは、バッチ処理の実行管理に関してはJP1のジョブ管理機能(JP1/Automatic Job Management System:JP1/AJS)との連携を推奨している。また、インフラ部分の運用管理については、顧客の環境に応じて最適なソリューションを提供するとしている。ここではさらにJP1/AJSとAsakusa Frameworkとの連携による効果についてみていきたい。

 バッチ処理の実行管理で行いたいことは、バッチ処理のスケジューリングや実行監視である。JP1/AJSの特徴である業務の自動運用と一元管理をあわせて実現することで、効率性の高いバッチ処理環境を構築することができる。ここでポイントになるのは、Asakusa Frameworkで開発したバッチ処理に対し、「ジョブやジョブネット(複数ジョブの実行順序)をどのように定義するか」である。

 実はJP1/AJSの標準ユーザーインターフェースでは、ジョブネットの定義がかなり煩雑になる。バッチに対応するジョブネットを定義する場合、バッチ内部のフロー構造を忠実に再現しなければならず、バッチに内包されるフローに対応するジョブネットにおいてもフローごとの定義が必要になる。さらにフローを構成するフェーズ(インポート、MapReduce、エクスポートなど)はボトルネックになりやすい処理(インポート、エクスポート)を含んでおり、フェーズ単位の監視も必須だが、ここでも定義項目が複数存在するため非常に煩雑になる。

 そこで日立ソリューションズでは、まだプロトタイプ版ではあるがAsakusa FrameworkとJP1/AJSを連携するツールを作成した。この連携ツールを利用すれば、ジョブネットの基本的な設定は自動生成されるので、定義コストや定義ミスを大きく低減できるという(ただし実行計画などは設定できない)。

  • Asakusa FrameworkとJP1の連携が望まれるポイント

  • 連携ツールの概要

  • Asakusa FrameworkとJP1/AJSを連携後、バッチ処理を実行/監視しているところ

 同社は今後もノーチラス・テクノロジーズのAsakusa Framework、日立製作所のハードウェアとソフトウェア、そして日立ソリューションズの構築サービスを組み合わせ、「三社一体でHadoopビジネスを大きく育てていきたい」としている。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ZDNET Japan クイックポール

注目している大規模言語モデル(LLM)を教えてください

NEWSLETTERS

エンタープライズ・コンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]