メタデータ、ChatGPT等を専門対話向けにチューニングし安全にコントロールする仕組みを共同開発 　　　～4月以降に対話エンジンの専門チューニング・サービスとコンサルティングを開始

メタデータ株式会社（所在地：東京都文京区；代表取締役社長：野村直之）は、人類の主要知識の痕跡を十分量蓄積したといえるGPT3以降の対話モデルを特定の専門分野や目的、ユーザーのタイプに特化させ、ChatGPTやBingよりも安全に運用できるハイブリッドな対話の仕組みをLivie’s Jump（所在地：東京都台東区；代表：松田圭子）と共同開発しました。独自にチューニングした特定目的専門対話エンジンをさまざまなフロントアプリから接続できるWeb APIサーバの形で4月以降に提供開始するとともに、様々な専門業務向けに対話エンジンをチューニングするサービスの受託ならびにコンサルティングも開始します。

■背景
メタデータ社は、2011年に、BtoBサイトやECサイトに設置して商品・サービスを紹介する対話ボット“Web受付嬢”を開発、提供開始しました。“Web受付嬢”は、その後多数登場した深層学習による1問１答のFAQボットと異なり、様々な状態パラメータを備え、状態遷移で文脈を把握し、ユーザーの欲しいサービスを少しずつ絞り込みます。ユーザーの発言から5W1Hを把握して関連資料PDFをメール送信することもできます。知らない言葉について訊かれたらWikipediaで調べ、「私も知りませんでしたので調べてまいりました。」に続けてWikipediaページの要約を簡潔に答える機能を提供しています。

一方、オンラインサービスの安全運用の分野では、SNSマーケティングなどで、消費者、一般ユーザーのクチコミを安全に企業ページの小窓（Widget）に流し込んだりするためには、誹謗中傷や違法サイトへの勧誘などをフィルターする必要がありました。5万件超の係り受けフレーズ辞書を搭載した“NG判定API”で有害投稿を排除したり、極端にネガティブな発言を“ネガポジAPI”で検出して人間による審査に回したりして運用現場のワークフローを支えてまいりました。

さらに、新世代の深層学習Transformerに基づき、穴あきデータを作ることで正解データを自動生成したBERTの出現以来5年間、当該技術を商品名の「名寄せ」に応用する実用化研究開発等を行い、一部顧客に提供してまいりました。BERTのデータ量、モデルの規模を何桁も拡大したGPT3 （General Pretrained Transformer 3） の出現後は、OpenAIのAPIと自社APIを併用して「良いとこ取り」する仕組みを試作。超巨大モデルの出力をコントロールし、実用精度を向上するとともに異常な出力を排除して安全に運用する仕組みを追求してまいりました。

■ 専門対話向けにチューニングし、安全にコントロールする仕組み
“Web受付嬢”の開発、提供を通じて獲得、蓄積した実用対話ボットの技術、ノウハウには次のようなものがあります。ユーザーに提供する知識の構造を階層化する技術、また、ECサイト向けの知識コンテンツを金融機関の窓口向けに変換し、カスタマイズする知識編集のノウハウなどです。
GPT3などの汎用の超巨大モデルを専門対話向けにチューニングする巨大な市場が生まれる旨、松尾豊東京大学教授もTV放送で語っています。メタデータ社とLivie’s Jumpの保有するチューニングノウハウに加えて、次の要素技術群が、専門分野へのカスタマイズ、ユーザーの性格タイプへの適合、そして、汎用超巨大モデルのNG出力、ネガティブな出力を補正、上書きする安全運用の仕組みの構築に貢献します。

・専門分野固有の知識をFAQ等にまとめたデータセットを分析して、専門分野の知識を網羅し、冗長性を減らし、粒度を揃えるためのAI分析ツール“Mrテキスト分析”
・シナリオの構造、バランス、その前提となる知識体系、概念体系を構築、整備するノウハウ
・“NG判定API”で有害投稿を排除し、ネガティブな発言を“ネガポジAPIで保留するフィルタリング機能とそれを支える知識ベース（辞書）
・文の構造を受身⇔能動などで変換し視点を入れ替える構文変換技術

1点目は、主にMrテキスト分析のマルチテキスト・ビジュアル類似検索で実現されます。コントロール用の対話シナリオを効率よく編集して高品質に保つノウハウにより、数千、数万と大規模に対話シナリオが成長しても破綻せず、多種多彩な質問に安全に回答可能とすることができます。

■チューニングの具体例　～Livie’s Jumpが開発中の個人向けカンセリングアプリ
Livie’s Jumpで開発中の「個人に寄り添うカウンセリングアプリ」の出力例を、ChatGPT、Bing （2023/2/20時点）のものと比較し、紹介します。



女子高生が日常の相談事の１つとして「先輩に怒られて部活を辞めたい」と語ったのに対し、ChatGPTは、人違いを指摘し、冷徹に、論理で問題解決に直結する助言をしています。いわゆる男性型（共感ゼロ）の回答で、「先生に諭されているみたい」「突き放されちゃった」と感じて落ち込んでしまうこともあるでしょう。Bingは、自分をBingさんという人物のように擬人化（This is Bingを若干誤訳）して共感を寄せています。Web検索結果を参照しながらも、相手の視点で語り、どちらの決断をしてもメリット、デメリットがあることを示しながら、相手が答えやすい質問をし、さらにはそれに対する回答候補をクリックするだけで会話が続くようにしています。

Livie’s Jumpの「裕君」は、毎日のように雑談する仲間のように振る舞い、共感の後に、選択肢を提示するより踏み込んで、意見のような語り口を提示します。すなわち、個人的には辞めないほうがいい気がするけれど、前向きに新しいことをしたいなら応援する気持ちがある旨、平易に優しく語ります。さらに、先輩が怒った理由は期待の裏返しでは？と想像して、過去の対話履歴から具体的に褒めることで、対話の真の目的、ユーザーを落ち込みから救い、前向きな気持ちさせることを達成しようとしています。

■提供形態
上例のカウンセリング・ボットを始め、様々な専門対話向けにチューニングしたWeb APIサーバを4月以降に提供いたします。フロントアプリは、iOS, Android、React等で構築したWebアプリなど、標準的なものを想定。Web APIサーバは、共用、専用サーバでクラウド提供いたします。