子どもに言葉を教える際、誰も主語と動詞の違いや、それらが文章中のどこに置かれるのかをわざわざ説明したりはしない。しかし、コンピュータに言語を理解させようとした場合には話が違ってくる。われわれは、文の構造や単語の意味を描写するための注釈を付加し、それらの文を使ってシンタックス（構文）パーサ（解析器）とセマンティック（意味）パーサを訓練することになる。この種のパーサはAmazonの「Alexa」のような音声認識システムに自然言語を理解させようとする場合に役立つが、その訓練は時間のかかるプロセスであり、あまり一般的でない言語の場合には、特に難しいものとなる。
提供：PhonlamaiPhoto, Getty Images/iStockphoto
米国時間10月31日、マサチューセッツ工科大学（MIT）の研究者らは、パーサの新しい訓練方法に関する研究論文を発表した。彼らが作成したシステムは、子どもの学習方法をまねながら、説明の付加された動画を読み込み、そこに映っている行動や物体との関連付けを行うというものだ。これによりパーサの訓練が容易になる結果、人とロボットとのやり取りの質を向上させる可能性もある。
例えば、このパーサを搭載したロボットであれば、周囲の環境を手がかりにすることで、音声による命令が明確でない場合でも、その命令をより良く理解できるようになる。
MITのコンピュータ科学・人工知能研究所（CSAIL）および脳・心・マシンセンター（CBMM）の研究者であるAndrei Barbu氏は、「人は不完全な文や、思いついたこと、支離滅裂な言葉遣いを使って互いにやり取りしている」と述べ、「家庭に置くロボットには、特定のしゃべり方に適応し、その意味するところまでをも理解してほしいはずだ」と続けた。
Barbu氏はベルギーのブリュッセルで現地時間10月31日から11月4日にかけて開催された「2018 Conference on Empirical Methods in Natural Language Processing」（EMNLP：自然言語処理における実証手法に関する会議）で発表された論文の共著者だ。研究者らはパーサを訓練するために、セマンティックパーサと、動画に写っている物体や人間、アクティビティの認識を訓練したコンピュータビジョンのコンポーネントを組み合わせた。
次に研究者らは、人々が物体を持ち上げたり、物体に向かって歩いて行くような動作が収録された、およそ400本の動画データを収集した。その後、クラウドソーシングプラットフォーム「Amazon Mechanical Turk」の参加者らの手によって、これらの動画に1200個の注釈が付加された。注釈のうちの840個は訓練とチューニングのために使用され、残りはテストに使用された。
ビデオ中のアクションと物体を言葉と関連付けることにより、パーサは文章がどのように構成されているかを学習する。このトレーニングで、ビデオがなくても文章の意味を正確に予測できるようになる。
注釈付きの動画は注釈付きの文章よりも容易に作成できるため、この方法の方が簡単にパーサを訓練できるはずだ。
一方、このアプローチは、幼い子どもたちがどう言葉を習得するかをよりよく理解するのに役立つ可能性さえあると、研究者らは述べる。
「子どもは親や兄弟の世間話を耳で聞いたり、触覚情報や視覚情報などに触れたりするなど、さまざまな方法からの冗長で補完的な情報にアクセスし、世の中のことを学んでいる」と論文の共著者でCSAILのInfoLab Groupの責任者兼プリンシパルリサーチサイエンティストでもあるBoris Katz氏は述べる。 「同時に起きる、このような感覚からの入力をすべて処理するというのは、すばらしいパズルだ。この作業は、このような学習が世界でどのように行われているかを理解するための大きなパズルピースのほんの一部だ」（Katz氏）
この記事は海外CBS Interactive発の記事を朝日インタラクティブが日本向けに編集したものです。
