外界の物体や事象に関わる情報は,複数の感覚モダリティから受け取られる場合が多い。例えば他者の話を聞いているとき,我々は一般に,声という聴覚情報と発話者の口の動きという視覚情報を別々の感覚器官から受け取っている。このように視覚と聴覚のそれぞれから感覚入力がなされた場合,それらの信号が物理的には同期して生じていたとしても外部空間における伝達速度や神経伝達速度はモダリティごとに異なるため,脳内の情報処理過程でも同期性が保たれているわけではない。従って,脳内では伝達遅延を考慮した上で同じ発生源に基づく視聴覚信号を適切に統合し,一貫した知覚経験を構築するための情報処理がなされていると考えられる。本研究の目的は,このような視聴覚同時性知覚の情報処理において,与えられた視聴覚刺激の知覚属性・次元間の関係性が果たす役割について解明することである。

 第1章(序論)ではまず,ヒトの視聴覚同時性知覚プロセスに関する問いが,入力された視覚刺激と聴覚刺激がどのような場合に統合されて同時であると知覚されるのかという問題(一時点における同時性知覚の問題)と,知覚システムがこれまでの視聴覚知覚経験に応じてどのように経時的に変化するのかという問題に大別されることを示し,それぞれの問いに関連する視聴覚同時性知覚の基本特性について概説を行った。加えて,視聴覚刺激の空間的一致性(近接性)など刺激間の様々な関係性が同時性知覚に与える影響についてこれまでの研究知見をまとめた上で,このような刺激間の関係性による影響が,2つの感覚情報が脳内の共通の神経メカニズムで表象されること(構造的要因)に起因しているのか,あるいは統計的知識や意味情報などのより高次の要因によって結びついていること(認知的要因)に起因しているのか区別することが困難であるという問題について議論した。そして,認知的要因に起因する視聴覚刺激に対するタイミング知覚の変化プロセスを明らかにするために,視聴覚刺激の知覚属性・次元間に存在する潜在的な適合性である「感覚間協応」に着目し,刺激同士の協応関係への整合性が視聴覚同時性知覚に与える影響について検討を行うことが必要であるという考えを示した。

 第2章(研究1)では,視聴覚間の協応関係としてこれまでにも多くの研究でその存在が確認されてきた「位置 – ピッチ」協応と「大きさ – ピッチ」協応に焦点を当て,一時点において発された視聴覚刺激の知覚タイミングが刺激間の協応関係によってどのように変化するのか検討を行った。まず実験1では,2種類の協応それぞれが,視聴覚刺激が同時であるように感じられる時間ずれの範囲(同時性の時間窓)に与える影響を調べた。その結果,「大きさ – ピッチ」協応への整合性が時間窓に影響することが示された一方で,「位置 – ピッチ」協応への整合性が時間窓に与える影響は見られず,協応の種類によって同時性の時間窓に影響するか否かが異なることが示唆された。

 次に実験2 – 4では,2種類の協応それぞれが,視覚刺激の知覚タイミングが時間的に近接して呈示された聴覚刺激の方向へシフトする現象(時間的腹話術効果)に与える影響について検討した。この効果は時間ずれのある視聴覚刺激が統合されることで生じるため,協応関係への整合性によって時間的腹話術効果の強さが変化するのであれば,それは感覚間協応が一時点における視聴覚同時性知覚を変容させたことを示していると考えられた。先行研究では,「大きさ – ピッチ」協応への整合性は時間的腹話術効果に影響しない一方で,「位置 – ピッチ」協応への整合性は時間的腹話術効果に影響することが示唆されていたため,まず実験2では,時間的腹話術効果の測定において広く用いられる課題(2つの視覚刺激の時間弁別課題)を用いてこれら2つの先行研究の概念的追試を行い,両知見が追試されることを確かめた。その上で,実験3, 4では,「位置 – ピッチ」協応への整合性が時間的腹話術効果に影響するという知見が妥当なものであるか確かめるため,時間的腹話術効果以外に交絡しうる説明要因をより統制した状況下で感覚間協応の効果を検討した。その結果,時間的腹話術効果が生じる状況下でも「位置 – ピッチ」協応の効果が見られなくなることや,先行研究および実験2において見られた「位置 – ピッチ」協応の効果は課題の特性によって生じた擬似的な効果である可能性が示された。これらの実験から,「位置 – ピッチ」協応と「大きさ – ピッチ」協応のいずれも,時間的腹話術効果に影響するものではないという可能性が新たに示された。

 以上の実験結果より,研究1においては,2種類の協応関係のいずれも時間的腹話術効果には影響しないが,同時性の時間窓については「大きさ – ピッチ」協応のみが影響するという知見が示された。

 第3章(研究2)では,研究1と同様に「位置 – ピッチ」協応と「大きさ – ピッチ」協応に焦点を当て,視聴覚同時性知覚の経時的な変化が刺激間の協応関係によってどのように影響を受けるのか検討を行った。例えば,光が音よりも先行して呈示されることが繰り返された後では,観察者は光が音よりもわずかに先に呈示されても「同時である」と判断するようになる。このような経験に基づく同時性知覚の変化は「時間的再較正」と呼ばれる。研究2における実験5 – 8では,この時間的再較正の生じ方が刺激間の協応関係への整合性によって変化するのか調べた。

 まず実験5では,視聴覚刺激間の「位置 – ピッチ」協応への整合性が,時間的再較正に与える影響について調べた。その結果,特定の刺激間に時空間的な一致性(近接性)が存在しないような視聴覚刺激の系列において「位置 – ピッチ」協応への整合性が刺激のグループ化を促し,協応関係に整合する視聴覚刺激ペア内の時間ずれを補填するような形で時間的再較正が生じている可能性が示された。続いて実験6では,実験5で観察された「位置 – ピッチ」協応の効果が再現されたと同時に,時間的再較正は協応関係に整合する刺激ペアでのみ選択的に生じている可能性が示された。実験7, 8では,実験5と同様の方法を用いて,「大きさ – ピッチ」協応への整合性が時間的再較正に与える影響について調べた。しかし,視覚刺激の空間位置を分離した場合(実験8)でも分離しなかった場合(実験7)でも,特定の刺激間に時間的再較正は生じなかった。従って,「大きさ – ピッチ」協応は「位置 – ピッチ」協応とは異なり,時間的再較正には影響しないことが示唆された。これらの実験結果より,「位置 – ピッチ」協応は時間的再較正プロセスに関与するのに対し,「大きさ – ピッチ」協応は関与しないという知見が新たに示された。

 第4章では,これまでの研究の結果を踏まえて,視聴覚刺激の知覚属性・次元間の協応関係が視聴覚同時性知覚においてどのような役割を果たしているのか,総合考察を行った。研究1, 2いずれにおいても,「大きさ – ピッチ」協応と「位置 – ピッチ」協応のそれぞれにおいて異なる効果が観察されたが,これには協応関係の成立過程に基づく分類が関与していると考えられた。「大きさ – ピッチ」協応は,外界における属性間の共起確率(大きな物体ほど低い音を発しやすい)の学習という「統計的要因」に基づいて成立していると考えられているのに対し,「位置 – ピッチ」協応の成立過程は「高い (high) – 低い (low)」という共通の言語ラベルによる符号化という「意味的要因」からの影響を強く受けていると考えられている。このことを踏まえると,ある一時点において一対の視聴覚刺激の時間的な統合・分離の決定においては外界の統計的性質に関する知識が自動的に利用されていると考えられる。さらに,実際の外部世界のように複数の視聴覚刺激が近接して存在するような場合において,共通の意味概念を持つ視聴覚刺激同士はグループ化され,グループ化された視聴覚刺激に一定の時間ずれがある場合には選択的に再較正が行われると考えられる。このように,視聴覚刺激の知覚属性・次元間の関係性はその成立過程や処理水準に応じて,同時性知覚プロセスにおいて異なる役割を担っていると考えられる。