AI（人工知能）チャットボットを開発するrinnaは8月25日、4月にオープンソースとして公開した日本語に特化した事前学習モデルのGPT-2改良版「GPT2-medium」をアップデートし、異なるサイズの「GPT2-small」「GPT2-xsmall」およびBERTを改良した「RoBERTa-base」による4つの事前学習モデルを新たにオープンソースとして公開した。
この日記者会見したApplied Scientistのシーン誠氏は、「追加学習によって利用者の目的に応じた最適化に使用できる。さまざま応用に活用してほしい」と公開理由を説明した。
rinnaが発表した4つの事前学習モデル
GPT-2は、2019年2月にOpenAIが発表した大規模・教師なし言語モデル。40GBものデータ量から次の単語や文章を予測するように訓練され、比較的高度な文章作成が可能だとして注目を集めていた。現在は機能を強化したGPT-3が発表されているが、rinnaでは日本語に特化したGPT-2の大規模言語モデルをオープンソースとして発表している。
GPT-2の概要
今回発表したGPT2-mediumは、3.36億のパラメーターを備え、NVIDIA Tesla V100 GPU×8で、75GBの日本語データを最大45日間かけて学習させた事前学習モデルになる。合計1.1億のパラメーターを持たせたGPT2-small、パラメーター数を0.37億に制限したGPT-xsmallも公開している。
会見ではサンプルとして、自然言語処理に特化したHugging Faceのデモンストレーションが披露された（例文で「生命、宇宙、そして万物についての究極の疑問の答えは」と問いを入力したところ、記者のケースでは「人間の脳の仕組みと行動における原理が解明されるまで、我々にはこれ以上のことは語れない～」と回答した）。
BERT（Transformerによる機械学習手法）は、Googleが2018年に発表した自然言語処理の事前学習環境。文章を文頭と文末から学習することで「文脈を読む」ことを可能にしているのが最大の特徴で、その可能性から多くの研究者が、日本語版BERTの実装に取り組んできた。今回rinnaが取り組んだRoBERTaは、「BERTより高性能」（シーン氏）という。
BERTの概要
同じくサンプルが披露された。「4年に1度[MASK]は開かれる」との例文から、[MASK]を推測するデモンストレーションでは、「ワールドカップ」がトップの0.114ポイント、「オリンピック」が次点の0.056ポイントだった。
RoBERTaのサンプルデモ
Chief Business Officer 佐々木莉英氏は、「AIと人間が共生する世界を実現する」とし、同社はパートナー製品でAIキャラクターとの会話シーンを実現しているが、今後は話やすい環境を整えるため、ゲームや自動車、家電製品への展開を想定しているという。また、対法人ビジネスへの展開におけるキャンペーン開催時に発生しがちな過度なアクセスに対応するため、「サービスのコンピューティング資源は全てコンテナーを利用している。SLA（サービス水準合意）や応答性の調整を柔軟に実現している」（Conversational AI Advocateの得上竜一氏）という。
