三井物産は、データマネジメントプラットフォーム（DMP）において米Microsoftが提供する「Azure Databricks」を導入した。三井情報が発表した。これによりDMPのパフォーマンスを大幅に改善することに成功したという。
Azure Databricksは、「Apache Spark」のオープンソースプロジェクトをベースとする分析プラットフォームで、MicrosoftとDatabricksが共同開発している。「Azure Synapse Analytics」や「Power BI」など、ほかのAzureサービスと緊密に統合しており、シンプルでオープンなレイクハウスに多様なデータを保存し、分析とAIのワークロードを一元化できるとする。これによりユーザーは、分析およびAI環境の構築に必要なプロセスの簡素化、自動化が可能になる。
三井物産は、これまでもMicrosoft AzureでDMPを構築、運用し、データ活用を実施してきたが、利用拡大のため負荷が高まり、一部のデータ処理において10時間を要する問題が生じていたという。
データ処理における課題と解決策
この問題を受けて三井情報は、大規模なデータに対する高速処理に優れたプラットフォームのAzure Databricksでパフォーマンスの検証や移行手法の検討を実施。その結果、当初10時間を要していたデータ処理が87分で完了するなどの大幅なパフォーマンス改善効果を確認し、DMPの本番環境への導入を三井物産に提案した。その後、約500のデータ処理の一部をAzure Databricksに移行し、1月15日に本番稼働を開始した。今後は、段階的にデータ処理の移行を継続し、データ基盤のパフォーマンス向上を進める。
