ゼロ頻度問題

用語の解説

ゼロ頻度問題とは

(ゼロヒンドモンダイ,スパースネスノ問題,zero frequency problem,sparseness problem,)
ゼロ頻度問題とは、n-gramモデルのような確率的言語モデルにおいて、ある単語の生起する確率を、学習データに利用したコーパス全体の中でその単語が出現した相対頻度によって推定すると、学習データ中に出現しなかった単語(組)の出現確率が0になってしまう問題のことである。
この時、ゼロ頻度問題を回避するために出現確率の補正を行うことを、スムージング(smoothing)と呼ぶ。

用語解説出典   powered by. Weblio

NEWSLETTERS

エンタープライズコンピューティングの最前線を配信

ZDNET Japanは、CIOとITマネージャーを対象に、ビジネス課題の解決とITを活用した新たな価値創造を支援します。
ITビジネス全般については、CNET Japanをご覧ください。

このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]