玉川大学脳科学研究所（東京都町田市 所長：坂上雅道）の小口峰樹（おぐちみねき）特任准教授、坂上雅道（さかがみまさみち）教授らはこのたび、2段階の選択をともなう状態遷移課題を用いて、従来の研究ではよく分かっていなかった、利己的／利他的といった社会的選好と、モデルベース（熟慮的思考）／モデルフリー（自動的思考）といった学習様式との関係性を明らかにした。本研究結果は、日本時間1月25日に科学雑誌『Scientific Reports』に掲載されている。
〈この研究のポイント〉
・これまで未解明であった社会的選好と学習様式との関係性について、2段選択状態遷移課題を用いてアプローチした。
・課題構造の学習において、利己的な人はよりモデルベースに依存し、反対に、利他的な人はよりモデルフリーに依存することを明らかにした。
なお、おかれた環境をイメージしながら熟慮的に学習を行うのがモデルベース、過去に構築した刺激-反応関係を自動的に適用するのがモデルフリーである。
・本研究の結果は、社会的2重プロセス理論における近年の「学習アプローチ」に経験的なサポートを与え、社会的意思決定のメカニズムの解明に重要な示唆を与えるものである。
●研究の背景
人間はすぐれて社会的な動物であり、他個体との競争や協力を通じて、日常のさまざまな場面で社会的な意思決定を行っている。こうした社会的な意思決定において、他者の利得を考慮せずに自己利益を追求する傾向を「利己性」と呼び、自分だけが得するのを避けて他者の利得を尊重する傾向を「利他性」と呼ぶ。こうした利己的傾向や利他的傾向のような社会的選好は、社会心理学において「社会的価値志向性（Social Value Orientation; SVO）」として定義され、それを分類したり計測したりしようとする心理テストが複数考案されてきた。
他方で、動物実験も含むより一般的な意思決定に関する研究では、動物の脳には少なくとも2つの異なる学習様式が備わっているという提案がなされ、数多くの研究によって支持されている。一方は「モデルフリー学習」であり、これは、条件づけのように、刺激や反応にともなって報酬が生じると、その強さや確率に応じて刺激や反応と報酬とを直接的に結びつける学習過程である。モデルフリー学習の実現には脳の深くにある大脳基底核や中脳ドーパミン領域が重要な役割を果たしていると考えられている。もう一方は「モデルベース学習」で、これは、刺激や反応とその結果として起こる報酬との間に「内部モデル」を介在させる学習過程である。内部モデルとは、たとえば環境の脳内地図のようなもので、刺激や反応の間の連続的なつながり（＝状態遷移）を学習することで形成される。モデルベース学習の実現には特にヒトで大きく発達した前頭前野が重要な役割を果たすと考えられている。
社会的意思決定における利己性/利他性という選好と、一般的な意思決定におけるモデルベース／モデルフリーという学習様式はどのように関係しているのだろうか。社会的意思決定のメカニズムに関する有力な見方の一つに「社会的2重プロセス理論」がある。この理論によれば、私たちの社会的意思決定は、並行して働く二つのプロセス（いわゆる「システム1」と「システム2」）によって行われているとされる。システム1は直観的・自動的・感情的といった特徴をもち、システム2は熟慮的・統制的・認知的といった特徴をもつ。近年、この社会的2重プロセス理論を「学習」の観点から見直す動きが広まっている。この新たな展開によれば、2重プロセスのもつ対照的な特徴は、モデルフリー／モデルベースという一般的な学習メカニズムに由来するとされる（直観的システムがモデルフリー、熟慮的システムがモデルベース）。この学習を重視するアプローチからは、上述の問いに対して、利他的傾向や利己的傾向といった社会的選好の個人差は、モデルフリー／モデルベース学習への依存度の個人差に基づくという仮説が導かれる（図1）。学習アプローチはいまだ理論的な提案に留まっているため、この仮説を実験的に検証することは、学習アプローチに対して経験的なサポートを与えることにもつながる。
●実験方法
社会的選好の個人差と学習様式の個人差の間に対応関係があるという仮説を検証するために、実験参加者には、選択結果からモデルフリー学習とモデルベース学習への依存度を推定することのできる確率的状態遷移課題に取り組んでもらった。さらに、実験参加者の社会的選好の得点（SVOスコア）をスライダー計測法という手法で測定した（図2a）。スライダー法では、自分と他人がお金を受け取る場面を想定してもらい、その分配パターンに関する選択への回答結果から、利己的傾向や利他的傾向を数値化する。この実験には184名の大学生が参加した。
小口特任准教授らが用いた確率的状態遷移課題は、順番に呈示される2つの幾何学図形のそれぞれに対して、左右いずれかのボタンで2段階の選択を行うという課題である（図2b）。たとえば、1番目の図形1に対して左ボタンを押すと、70%の確率で図形2-1に移動し、30%の確率で図形2-2に移動する。2番目の図形に対しても、左右ボタンの選択に応じて、異なる確率で3番目の図形に移動。3番目の図形は異なる報酬金額（0円、10円、25円）に対応しており、その金額が実験参加者の獲得報酬に加算される。実験参加者はこの課題を200試行行った。
この課題は複雑な遷移構造をしているが、実験参加者は、それぞれの選択にどのような結果が伴うかについて試行を重ねて学習し、どの選択肢が大きな報酬期待値を有しているかを推測していく。モデルベースで学習する人は、それぞれの状態間の遷移確率に関するモデルを構築し、得られた報酬が高い遷移確率の後に来たのか、低い遷移確率の後に来たのかを考慮して学習を行う。モデルフリーで学習する人は、遷移確率を考慮せず、選択と報酬を直接的に結びつける。
ある参加者が課題のある段階でどのくらいモデルベースに依存した行動をしているのかを計算するために、小口特任准教授らはモデルベースとモデルフリーの強化学習アルゴリズムをある比重で組み合わせたハイブリッドアルゴリズムを用いた。実験参加者のデータを用いてこの比重を推定することで、モデルベース依存度を定量化することができる。
●実験結果
特徴的な社会的選好をもつ参加者を分類するために、SVOスコアに基づいて利己群と利他群を抽出し、状態遷移課題に関する両者の解析結果を比較した。
まず、実験参加者が獲得した報酬額を20試行幅の移動平均で分析。特に学習初期段階において、利己群の方が利他群よりも平均獲得報酬が大きいという結果であった（図3a）。
次に、刺激が呈示されてからボタンを押すまでの反応時間について解析を実施。第2選択での反応時間（RT2）は、課題が進んでいくと高確率（70%）の遷移後は徐々に短く、低確率（30%）の遷移後は逆に徐々に長くなっていく傾向がある。これは、実験参加者が課題の構造を学習し、高確率遷移後に呈示される図形を予期するようになっていくからだと考えられる。RT2を40試行ずつのブロックに分けて分析すると、利己群は1ブロック目から異なる確率を弁別できていたのに対し、利他群は弁別できるまでに時間がかかった（図3b）。これらの結果は、利己群の方が利他群に比べて課題構造の学習が速く、より迅速に最適な選択肢に行きつくことができたということを示唆している。
モデルベースとモデルフリーのハイブリッドアルゴリズムを用いて学習パラメータの推定を行ったところ、学習率や探索傾向を表すパラメータには利己群と利他群の間で違いはなかったが、モデルベース依存度については、最初のブロックで利己群の方が利他群に比べて大きいという結果が得られた（図3c）。
以上の結果は、利己群は利他群に比べて課題の学習を必要とする課題初期においてモデルベース依存性が高く、それゆえ、効率的な選択肢を学習するのが速かったということを示唆している。
小口特任准教授らはさらに、利己群と利他群の間で見られた学習速度の差が、モデルベース依存性の差によるものであるという点を確かめるために、ハイブリッドアルゴリズムを使ってモデルベースとモデルフリーの学習器のシミュレーションを実施。結果、学習速度の差が生じることが再現された。
これらの結果は、社会的選好の個人差と学習様式の個人差の間に対応関係があるという仮説を支持し、社会的2重プロセス理論の学習アプローチに実験的な検証を与え、社会的意思決定のメカニズムの解明に対して示唆を与えるものである。
●研究グループ
小口 峰樹 玉川大学脳科学研究所 特任准教授
李 楊 名古屋大学情報学研究科 特任助教
松本 良恵 西南学院大学人間科学部 実験助手
清成 透子 青山学院大学社会情報学部 教授
山本 和彦 株式会社コンポン研究所
杉浦 繁貴 株式会社コンポン研究所
坂上 雅道 玉川大学脳科学研究所 教授
●掲載論文名
Proselfs depend more on model-based than model-free learning in a non-social probabilistic state-transition task
利己的な人は非社会的な確率的状態遷移課題においてモデルフリー学習よりもモデルベース学習により強く依存する
(リンク »)
▼本件に関する問い合わせ先
学校法人玉川学園 教育情報・企画部 広報課
住所：〒194-8610 東京都町田市玉川学園6-1-1
TEL：042-739-8710
FAX：042-739-8723
メール：pr@tamagawa.ac.jp
【リリース発信元】 大学プレスセンター (リンク »)
本プレスリリースは発表元企業よりご投稿いただいた情報を掲載しております。
お問い合わせにつきましては発表元企業までお願いいたします。
お問い合わせにつきましては発表元企業までお願いいたします。
