Salesforce Researchは米国時間6月20日、汎用の自然言語処理（NLP）モデルを作り出すための総合評価指標として「Natural Language Decathlon」（自然言語の十種競技）を提唱し、「decaNLP」と呼ばれる新評価指標を公開するとともに、タスクに依存する適応やパラメータ、モジュールを含まないNLPモデル「Multitask Question Answering Network」（MQAN）を発表した。
decaNLPは、SalesforceのチーフサイエンティストであるRichard Socher氏が主導した研究の成果だ。decaNLPは、質問応答と機械翻訳、文書要約、自然言語推論、センチメント分析、セマンティックロールラベリング、関係抽出、タスク指向型対話、データベースクエリ生成、代名詞照応という10のタスクを対象としており、連携学習を行うシステムに対する評価を実施するというものだ。
また、今回発表されたMQANは、NLPタスクにおけるスイスアーミーナイフのようなものだという。特定のタスクに向けて何度も最適化されたモデルは、他のタスクへの応用が困難になる。Salesforceは、あらゆるタスクを質問応答フォーマットに変換し、連携して訓練するという汎用目的のNLPアプローチを模索してきていた。
Socher氏は、ディープラーニング（深層学習）とNLPを一体化したこのアプローチによって、議論がメタアーキテクチャを中心としたものへと移行されると述べた。そして同氏は、アーキテクチャに基づくアプローチによって、NLP機能の多層化にともなうモデルの無秩序な増加を防ぐことも可能だと続けた。
Salesforceは、「Salesforce Einstein」や同社のさまざまなクラウド製品の展開においてdecaNLPを活用していくことになるはずだ。
MQANは、特定のモデルを使用せず、あらゆるタスクを対象とする連携学習を実施する、マルチタスク型の質問応答ネットワークを組み合わせたものだ。またこのネットワークは、関連描写を通じて新たなタスクを完結させることで適応していけるようにもなっている。
またSaesforce Researchは、データセットの処理や、モデルの訓練／評価、さらには「decaScore」という評価指標を作り出すコードも生み出している。
decaNLPで高い評価を得たNLPシステムは理論上、チャットボット向けのフレームワークとともに、顧客サービスとのやり取りでどのような情報も提供できるようになるはずだ。
マルチタスク型の質問応答ネットワークのダイアグラム
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
