第68回　Federated Learning：モバイルデバイスを用いた分散学習技術（パート2） (中井悦司)

CTC教育サービスはコラム「第68回　Federated Learning：モバイルデバイスを用いた分散学習技術（パート2） (中井悦司) 」を公開しました。

＃＃＃

はじめに
　前回に引き続き、2019年に公開された論文「Applied Federated Learning: Improving Google Keyboard Query Suggestions」を元にして、モバイルデバイスを用いた分散学習技術である「Federated Learning」の適用事例を紹介します。今回は、検索キーワード予測に使用するモデルの詳細を解説します。
Baseline ModelとTriggering Model
　前回の図2で説明したように、Gboardの検索キーワード予測システムでは、2種類の機械学習モデルを組み合わせた予測が行われます。事前学習済みのBaseline Modelにより、候補となる複数のキーワードを生成して、Triggering Modelにより、実際に表示するキーワードの絞り込みを行います。
　まず、Baselineモデルでは、Google Knowledge Graph（KG）と呼ばれるデータベースを用いて、入力テキストに含まれる単語がどのようなカテゴリーに属するかという情報を取得します。その上で、そのカテゴリーにあったキーワードを予測します。論文の中では、「Let's eat Charlie's」と入力すると、これはレストランに関連する文書だという判別が行われて、「Charlie's」という名前を含むレストランを検索するためのキーワードが候補として得られる、という例が紹介されています。この部分には、LSTMと呼ばれる、自然言語処理でよく用いられるニューラルネットワークモデルが使用されます。

この続きは以下をご覧ください
(リンク »)