NECは11月14日、大量のテキストデータから特定の意味を含む文書を漏れなく検出する技術「テキスト含意認識」を、従来に比べて約2万4000倍高速化することに成功したと発表した。
テキスト含意認識とは、ある文書が特定の意味を含むかどうかを、表現の違いに左右されずに判定する技術。NECは、同社のテキスト含意認識技術は精度で世界1位の評価を得ており、今回の高速化技術で、NECのテキスト含意認識技術は精度と速度の両面で世界トップクラスの性能を実現したとアピールする。
従来、同技術は、テキストデータ中の全文書に対して、特定の意味を含むかどうかを1つずつ判定していたため、テキストデータが大量になると膨大な処理時間が必要だったと説明する。
新技術は、テキストデータ中の文書が特定の意味を含むかどうかを一括で判定する過程で、条件を含まないと確定した文書には、候補から除いていくアルゴリズムを持ち、従来技術と同じ判定精度で高速に検出が可能という。
この技術を用いて約700万文のテキストデータを用いた計測では、従来方式に比べて、平均で約2万4000倍の高速化を確認したと説明。新聞に換算して約4年分のデータ量の場合、従来約1.3時間かかっていた含意認識が0.2秒で処理可能という。
新技術により、インターネット上にあふれる意見や風評など膨大な企業内文書の中から、特定の意味を含むものだけを漏れなく高速に検出できるようになり、マーケティングやリスク管理などの強化が可能と説明している。
