スモールデータから知見を見出す「スパースモデリング」

画像や音声、文章にも応用可能--実は身近なスパースモデリング - (page 3)

大関真之 2016年04月06日 07時00分

  • このエントリーをはてなブックマークに追加
  • 印刷

文章の内容を噛み砕く

 連載も4回目になり、感覚的にスパース性の利点や性質が頭の中に出来上がってきているのではないだろうか。そうなってくると、もしもこれから読者の目の前にスパース性に関係する文章が登場したら、

 「ああ、あのときに言っていたあれだ」

 「知っているよ、スパース性でしょう?」

 「そうそう軟判定しきい値関数とか使うやつだ!」

 と声を上げているかもしれない。これもよくよく考えてみると、人間の認識方法を示している例ではないだろうか。最初は全く知らないことについては、理解は難しいのだ。理解するための下地部分、パーツがないからだ。そのパーツをいくつか拾った後では、理解することはたやすくなっているというのは経験上、よくあることだろう。

 「理解しやすいかどうか」という判定をたびたび受けるものは、文章が一番ではないだろうか。実はこの文章の構造や背景を解析する技術も急速に成長している。英語であればスペースで区切られた文章要素ごとに区切ることで単語を抽出することができる。日本語は単語を抽出するためには一工夫がいるが、「形態素解析」と呼ばれる方法で実現できる。

 さてさて、こうして並べられた単語の羅列。これは一体、何を意味しているのだろうか。これが文章を理解する第一歩であろう。もちろん人間は前後関係や単語そのものの意味等色々な情報から理解をしているわけだが、もっとも素朴に何のことを言っているのかという解析をすることを考えてみよう。

 このときは、たくさんの「トピック」からなる文章を先に学習しておくと良いだろう。「野球」の話か、「サッカー」の話かを区別するためには、事前にそういう話題、ある「トピック」が出る場合にはどんな単語がでるのかということを知らなければならない。スポーツの種目だけではなく、その「ルール」について語っているのか、「面白さ」について語っているのか、「歴史」について語っているのか。そうここでも話題の「足し算」が関わっていることに気付くだろう。

 話題は「足し算」により、豊富かつ複雑になっていると考えるのはそれなりに説得力があるだろう。もちろん人間の話し言葉、書き言葉には、分かりやすさのためにたとえ話があるので、余計な「足し算」も含まれているが、その余計な話が余計だと分かるのは、ごくわずかにその話題が「足し算」されているからで、対処するのは難しくないだろう。

 仮にこの文章を解析したら、ほとんどは「お絵描き」の話であり、「音声」の話であり、最後は「野球」がちょっとで終わっていると解析されるだろう。しかしほとんどのところで「スパース性」というキーワードが横たわっているので、「データ解析手法」の話題であることは分かる。非常に多くの単語からなる文章を、ごく少数のトピックで表現するのだから、これも「スパース性」がひょっこり現れているというわけだ。

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

関連ホワイトペーパー

SpecialPR

連載

CIO
月刊 Windows 10移行の心・技・体
ITアナリストが知る日本企業の「ITの盲点」
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
セキュリティインシデント対応の現場
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft Inspire
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]