感覚間マッピングは,例えば高い音には明るい視覚刺激が結びつけられやすいというように,異なる感覚モダリティに与えられる刺激の属性や次元の間に適合性が見出される効果である(Spence, 2011)。本論文は,感覚間マッピングが,あるモダリティ内の構成要素間の関係性が別のモダリティに写像される形で成立するという同型性ベースの説明(Di Stefano & Spence, 2024; Alistair, 2013)を,音と色のマッピングを対象として実証的に検討したものである。従来,感覚間マッピングのメカニズムとしては統計的協応,意味的協応などが提案されてきた(Spence, 2011)が,これらはいずれも刺激同士の連合や共通属性の共有といった刺激特有の特徴に着目するものであり,なぜ二つの刺激が結びつくのかを説明する枠組みであった。これに対し,同型性ベースの説明は,マッピング元と先それぞれのモダリティ内の構成要素間の関係性に注目し,感覚間マッピングがどのような構造として成り立っているかを明らかにしようとする点で理論的に異なる。従来のメカニズムに加えて同型性ベースの説明を導入することにより,両者は相補的に機能し,感覚間マッピングを統一的かつ多層的に理解する理論的基盤を築くことができると考えられる。しかし,感覚間マッピングにおいて同型性ベースの説明を定量的に検証した研究は限定的で,実証的証拠に乏しいという課題があった。
 本研究ではこの課題に対して,同型性ベースの説明を(a)モダリティ内の構成要素間の関係性の認識,(b)その関係性の他モダリティへの写像,(c)モダリティ間での構造的に同型なマッピングの成立という段階に分解し,その理論的枠組みの現象的妥当性を確認するために,(d)成立したマッピングに表れる特徴とあわせて検証した。特に,刺激間の関係性の認識に関与し,かつ学習や訓練の経験に応じて個人差が生じやすいカテゴリ(カテゴリ化のプロセス)に着目し,刺激に対するカテゴリ認識が経験に応じて変化する音に関わるマッピングに焦点を絞って検討を行った。具体的には,音楽や言語の訓練・学習の経験に依存してカテゴリカルに認識されるピッチ(第2章),調性(第3章),音韻(第4章)と色とのマッピングを調べた。各章では,観察者ごとにカテゴリに関わる聴覚特性を行動実験により測定し,その違いがマッピングの同型性(類似する(しない)音には類似する(しない)色が結びつけられている状態)やマッピングの特徴にどのように反映されるのかを検討した。
 第2章では,ピッチの二次元性(クロマ,ハイト)と絶対音感の有無という聴覚特性の個人差に着目し,音の関係性の認識のしかたが異なると,音–色マッピングに表れる特徴も異なるか検証した。クロマとハイトの認識のしやすさが異なる三種類の聴覚刺激(純音,反復リプル雑音,狭帯域雑音)を作成し,絶対音感保持者と非保持者を対象に聴覚刺激に対して色を選択する課題を実施し,マッピングの時間的安定性を測定した。その結果,物理的には同一の音が呈示された場合でも,音の認識のしかたが異なる集団間では刺激の種類ごとの時間的安定性が異なることが示された。すなわち,音間の関係性の認識のしかたがマッピングの特徴に影響することが明らかになり,前段落で示した同型性ベースの説明の(a)と(d)の関連を示す結果が得られた。
 第3章では,音楽経験に応じてカテゴリ知覚されることが明らかになっている調性カテゴリ(Howard et al., 1992)を通して,和音–色マッピングにおいてマッピングが構造的に同型な形をもって成立しているか検証した。短調–長調連続体上の三和音に対し,参加者は各和音に似合うと感じる色を選択した。調性をカテゴリカルに知覚する群では,音は物理的には連続的に変化しているにもかかわらず,カテゴリ境界付近で選択された色が非連続的に切り替わった一方,調性をカテゴリ知覚しない群では,音の変化に沿って選択される色がより連続的に変化した。このことから,観察者が音に対して認識する関係性が色空間上に写像されていることが示され,同型性ベースの説明の(c)の段階についての実証的証拠を得た。さらに,カテゴリ知覚する群ではカテゴリ知覚しない群に比べてマッピングの時間的安定性が高く,選択される色の範囲も広いという結果が得られた。この結果は,音間の関係性をどのように認識するかが,マッピングの特徴に影響することを示すものであり,同型性ベースの説明の(a)と(d)の関連を示す結果が得られた。
 第4章では,音韻カテゴリに着目し,特に母音と色のマッピングを対象に同型性ベースの説明をより体系的に検証した。実験1では,他言語話者において報告されているもの(Cuskley et al., 2019)と同様の傾向の母音–色マッピングが日本語母語話者においても再現されることを示し,以降の実験の基盤を整えた。実験2では,Cuskley et al.(2019)にならい,母音空間と色空間の距離行列の相関に基づいて,参加者ごとにマッピングの同型性の程度を示す構造化スコアを算出した。その結果,多くの参加者においてマッピングがランダムなマッピングと比べて有意に構造化されていることが確認され,同型性ベースの説明における(c)の段階が定量的に示された。さらに,構造化スコアが高い参加者ほど,マッピングの時間的安定性が高く,色空間の利用範囲も広いというように,同型性ベースの説明における(c)と(d)の段階間の関連が示され,同型性の程度という指標が複数のマッピングの特徴を統一的に説明する可能性が示唆された。実験3では,音間の関係性の認識に関与すると考えられる母音のカテゴリ知覚の識別感度や弁別感度を測定し,これらが構造化スコアと関連するか(すなわち,同型性ベースの説明における段階(a)と(c)の関連)を検討した。その結果,カテゴリ知覚の程度が高いとマッピングの同型性の程度が高まる可能性が示唆された。第3章の結果と併せて考えると,カテゴリ知覚の程度がマッピングの構造の形状や保存性を規定する可能性が示唆され,カテゴリの観点から同型性ベースの説明の理論的精緻化に寄与した。
 以上の三つの実証的研究を総合すると,本論文の意義は二点に要約される。第一に,音–色マッピングを対象とする複数の実験を通して,同型性ベースの説明に対し定量的かつ多角的な証拠を提示した点である。第3章および第4章では,異なる分析手法を用いながら,音空間と色空間が構造的に同型な形で対応していることを示した。また,第2章・第3章・第4章を通じて,音間の関係性の認識のしかたがマッピングの構造やマッピングの特徴(時間的安定性やマッピングの範囲)に影響を及ぼすことを明らかにした。これにより,同型性ベースの説明が単なる概念的提案にとどまらず,行動データに基づき支持される理論的枠組みであることを示した。第二に,カテゴリに着目した検討を実施したことで,同型性ベースの説明を理論的に精緻化した点である。すなわち,刺激間の関係性の認識に関わるカテゴリ化のプロセスがマッピングの構造の形状や保存性に影響を及ぼす可能性を示し,カテゴリと同型性の関連を整理した。
 一方で,本研究にはいくつかの限界も残されている。第一に,本論文はマッピングが同型な形で成立していること,および刺激間の関係性の認識のしかたがマッピングの構造や特徴に影響することを示したが,そもそもなぜあるモダリティにおける構成要素間の関係性が他方へ写像されるのかという同型性ベースの説明の(b)の段階のメカニズムについては未検討のまま残されている。第二に,対象としたモダリティの組み合わせが音と色に限定されているため,同型性ベースの説明が味覚や触覚など他の感覚モダリティで処理される刺激間の組み合わせにも一般化しうるのかは今後の検討課題である。第三に,同型性ベースの説明では説明できないタイプの感覚間マッピングも存在する。例えば統計的協応は刺激間の関係性を認識しているかによらず環境中での共起頻度に基づいて成立するため,同型性ベースの説明とは異なる水準の説明を要する。ただし,このことは,同型性ベースの説明の意義を損なうものではなく,複数のメカニズムが相補的に働くことによって感覚間マッピングの全体像に迫り得ることを示唆している。
 総じて,本論文はカテゴリを切り口として,感覚間マッピングをモダリティを越えた構造的対応として捉える同型性ベースの説明を検証した。本研究の知見は,従来のメカニズムと併せて感覚間マッピングを統合的に理解していくための理論的・実証的基盤となるものである。