Paper Reading: Visual Infuences on Auditory Behavioral, Neural, and Perceptual Processes: A Review

Visual Infuences on Auditory Behavioral, Neural, and Perceptual Processes: A Review

paper link: Visual Influences on Auditory Behavioral, Neural, and Perceptual Processes: A Review (springer.com)

文章主要的目标：解释信息是如何整合的。整合的目的是对冗余和互补信息进行处理

后半部分更多的是在说视觉如何帮助听觉：比如帮助听力损失的人

Visual Influences on Auditory Perception: Psychophysical Evidence in Humans

Vision Can Enhance Auditory Perceptual Performance

• 一种感觉模态的信息，无论与任务是否相关，都能对另一种感觉模态的感知判断产生影响。这说明不同感觉模态之间存在着密切的联系和相互作用，不是孤立运作的。

Enhancement of Auditory Perceptual Performance by Task‑Irrelevant Visual Information

• 与任务无关的视觉能够增强对于听觉的感知。举例而言就是当一个人在判别声音强度的任务时，加入灯光信息会让受试者误认为声音变强了。

• 当视觉刺激领先于听觉刺激时，人们最容易感知到两者是同时发生的。

Spatial Ventriloquism：空间腹语效应

解释：就是在空间中，尽管声音是从B点发出的，但是因为视觉看到A点更符合声音的发出条件（比如电视里一个人在说话），那么就会使人认为声音来自A点。

• 只有当视觉信息可靠性足够高的时候，这种效应才会产生：即视觉对听觉占主导地位

  • 可靠性足够高：听觉信息和视觉信息在空间和时间上的一致性强

::: tips
提示
当听觉信息与在空间和时间上一致的视觉信息配对时，听觉感知表现能够得到提升，无论这些视觉信息与任务是否相关。
:::

Mechanistic Principles of Visual Influences on Auditory Perception

自下而上是正向传播，自上而下则是反向传播

• 对于Computations部分的解释：蓝色是视觉感知的概率分布，红色是听觉感知的概率分布，紫色是融合后的概率分布，向下的黑色箭头是对结果的最优估计。

• 黑色垂直线表示causal inference、fusion和sensory processing有可能发生的位置

注意
sensory processing图中黑色箭头为啥不指概率最高的视觉？