rinna、日本語特化の事前学習モデル「GPT2-small」「RoBERTa-base」など公開

阿久津良和

2021-08-26 06:00

 AI(人工知能)チャットボットを開発するrinnaは8月25日、4月にオープンソースとして公開した日本語に特化した事前学習モデルのGPT-2改良版「GPT2-medium」をアップデートし、異なるサイズの「GPT2-small」「GPT2-xsmall」およびBERTを改良した「RoBERTa-base」による4つの事前学習モデルを新たにオープンソースとして公開した。

 この日記者会見したApplied Scientistのシーン誠氏は、「追加学習によって利用者の目的に応じた最適化に使用できる。さまざま応用に活用してほしい」と公開理由を説明した。

rinnaが発表した4つの事前学習モデル
rinnaが発表した4つの事前学習モデル

 GPT-2は、2019年2月にOpenAIが発表した大規模・教師なし言語モデル。40GBものデータ量から次の単語や文章を予測するように訓練され、比較的高度な文章作成が可能だとして注目を集めていた。現在は機能を強化したGPT-3が発表されているが、rinnaでは日本語に特化したGPT-2の大規模言語モデルをオープンソースとして発表している。

GPT-2の概要
GPT-2の概要

 今回発表したGPT2-mediumは、3.36億のパラメーターを備え、NVIDIA Tesla V100 GPU×8で、75GBの日本語データを最大45日間かけて学習させた事前学習モデルになる。合計1.1億のパラメーターを持たせたGPT2-small、パラメーター数を0.37億に制限したGPT-xsmallも公開している。

 会見ではサンプルとして、自然言語処理に特化したHugging Faceのデモンストレーションが披露された(例文で「生命、宇宙、そして万物についての究極の疑問の答えは」と問いを入力したところ、記者のケースでは「人間の脳の仕組みと行動における原理が解明されるまで、我々にはこれ以上のことは語れない~」と回答した)。

 BERT(Transformerによる機械学習手法)は、Googleが2018年に発表した自然言語処理の事前学習環境。文章を文頭と文末から学習することで「文脈を読む」ことを可能にしているのが最大の特徴で、その可能性から多くの研究者が、日本語版BERTの実装に取り組んできた。今回rinnaが取り組んだRoBERTaは、「BERTより高性能」(シーン氏)という。

BERTの概要
BERTの概要

 同じくサンプルが披露された。「4年に1度[MASK]は開かれる」との例文から、[MASK]を推測するデモンストレーションでは、「ワールドカップ」がトップの0.114ポイント、「オリンピック」が次点の0.056ポイントだった。

RoBERTaのサンプルデモ
RoBERTaのサンプルデモ

 Chief Business Officer 佐々木莉英氏は、「AIと人間が共生する世界を実現する」とし、同社はパートナー製品でAIキャラクターとの会話シーンを実現しているが、今後は話やすい環境を整えるため、ゲームや自動車、家電製品への展開を想定しているという。また、対法人ビジネスへの展開におけるキャンペーン開催時に発生しがちな過度なアクセスに対応するため、「サービスのコンピューティング資源は全てコンテナーを利用している。SLA(サービス水準合意)や応答性の調整を柔軟に実現している」(Conversational AI Advocateの得上竜一氏)という。

ZDNET Japan 記事を毎朝メールでまとめ読み(登録無料)

ホワイトペーパー

新着

ランキング

  1. セキュリティ

    Google Chrome Enterprise が実現するゼロトラスト セキュリティの最新実情

  2. ビジネスアプリケーション

    ITSMに取り組むすべての人へ、概要からツールによる実践まで解説、「ITSMクイックスタートガイド」

  3. セキュリティ

    あなたの会社は大丈夫?--サイバー攻撃対策として必要な情報セキュリティの早分かりガイドブック

  4. ビジネスアプリケーション

    業務マニュアル作成の課題を一気に解決へ─AIが実現する確認と修正だけで完了する新たなアプローチ

  5. セキュリティ

    いまさら聞けないPPAPの問題点、「脱PPAP」を実現する3つの手法と注目の"第4のアプローチ"とは

ZDNET Japan クイックポール

所属する組織のデータ活用状況はどの段階にありますか?

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]