形態素解析

言語学者のチョムスキーによって考案されたもので、かな漢字変換を初めとする自然言語処理機能などに応用されている。 言語処理においては、体言や活用する言葉の活用語幹を語幹として、また、助詞や助動詞などを付属語として抽出される。 語幹のうち表記ゆれのあるものに関しては、語幹の標準形としてある1つの表記に標準化される。 日本語には 単語の品詞と品詞とのつながりが明確・厳密であるため、他の自然言語処理に比べても解析が容易であるとされる。 例えば、「来られないようだ」をという一文を形態素によって解析するならば、以下のように分析される。 来コ動詞・自立カ行変格活用未然形 られラレられる動詞・接尾辞未然形 ないナイない助動詞基本形 ようヨウよう非自立名詞- だダだ接続助詞基本形 例えば「うらにわにはにわにわにはにわにわとりがいる」という構文では、多くの場合は「裏庭には二羽、庭には二羽、鶏がいる」という漢字変換が考えられるが、「裏庭に埴輪、庭に埴輪、鶏がいる」という変換でも間違いではないし、さらに「裏にワニ、葉にワニ、環に埴輪、鶏がいる」としても誤りではない。 変換に生じる揺れのうちどれが妥当であるかは、その文の意味によって、もしくは文脈や相手の意図によって変動する。 それらのすべてが考慮に入れられなければ正しい意味を把握する事はできない。 正解となるかもしれない複数の解答があり、そのどちらとも決定できないといった状況は、言語処理においては「曖昧である」「曖昧性がある」などと呼ばれる。 曖昧性の存在は構文解析でも同様であるといえる。