39回「自然言語処理（2）」Janomeで文章を単語に分ける

一般社団法人Pythonエンジニア育成推進協会はコラム「」を公開しました39回「自然言語処理（2）」Janomeで文章を単語に分ける。

＃＃＃

こんにちは、小澤です。

前回は、自然言語処理の全体像と、Pythonで利用できる主なライブラリを紹介しました。また、Janomeをインストールし、短い文章を形態素解析しました。今回は、教科書の自然言語処理の流れに沿って、解析結果をもう少し詳しく見ていきます。

文章を単語に分けるだけなら、前回のコードでも実行できます。ただし、分析に使うには、表示された情報の意味を理解しておく必要があります。単語そのものと品詞の違い、基本形を使う理由を確認し、必要な単語をリストに取り出してみましょう。

形態素解析の結果を確認する
日本語の文章には、通常、単語の間に空白がありません。「商品が届きました」という文章をPythonの文字列として読み込んでも、どこが単語の区切りかは分かりません。形態素解析では、辞書などを使って文章を小さな単位に分け、品詞や活用の情報を調べます。ここでは、説明を分かりやすくするために、分けられた単位を単語と呼びます。

まずは、単語の表記、品詞、基本形を並べて表示します。Janomeが未インストールの場合は、前回と同じくpip install janomeを実行しておいてください。

この続きは以下をご覧ください
(リンク »)