第38回「自然言語処理（1）」自然言語処理の概要とライブラリ

一般社団法人Pythonエンジニア育成推進協会はコラム「第38回「自然言語処理（1）」自然言語処理の概要とライブラリ」を公開しました。

＃＃＃

こんにちは、小澤です。

前回までは、スクレイピングについて取り上げました。Webページから必要な情報を取得し、CSVやExcelに保存し、定期実行や分析につなげるところまで紹介してきました。スクレイピングについてはここで一区切りとし、今回からは自然言語処理に入ります。

自然言語処理という言葉を聞くと、文章を理解するAIやチャットボットのような、大きな仕組みを想像するかもしれません。もちろん、そのような技術も自然言語処理に含まれます。ただし、最初から難しい仕組みを作るわけではありません。文章を単語に分け、出現回数を数え、コンピュータが扱える数値に変換するところから始めます。

今回からの連載では、最終的に文章が肯定的なのか、否定的なのかを判定する極性判定をひとつのゴールにします。その準備として、形態素解析、Bag of Words、TF-IDFという考え方を順番に見ていきます。今回は、その全体の流れと、Pythonで自然言語処理を始めるための準備を紹介します。

この続きは以下をご覧ください
(リンク »)