“郑钦文口型”冲上微博热搜,读唇术真的有可能吗?

摩登语言学 2024-09-12 14:59:01

在9月2日凌晨结束的2024美国网球公开赛女单第四轮一场焦点对决中,中国选手郑钦文苦战三盘击败克罗地亚选手维基奇,生涯第二次晋级美网女单八强。比赛现场,疑似有人喊yellow banana(侮辱‌黄种人),郑钦文霸气回应:“I will beat you”(我会打败你)。郑钦文霸气回应“I will beat you”(我会打败你)。此事迅速引发热议,“郑钦文口型”冲上微博热搜。

但是唇读或读唇术真的有可能吗?

唇读,又称为读唇术,是通过视觉解读唇部、面部和舌头的运动来理解语音的一种技术,而不依赖声音。唇读的准确率因情况而异,通常估计在30%左右,因为它依赖于上下文、语言知识以及残余听力。虽然唇读主要由聋人和听力障碍者使用,但大多数正常听力的人在面对面交流中也会通过视觉获取一些语音信息。

过程尽管语音感知被认为是一种听觉技能,但它本质上是多模态的,因为在发音时,讲话者需要做出唇部、牙齿和舌头的运动,这些运动通常在面对面的交流中是可见的。来自唇部和面部的信息能够支持听觉理解,大多数语言的流利听者对视觉语音动作(如麦克格克效应【McGurk effect】)都很敏感。人们利用这些视觉语音动作的程度取决于语音动作的可见性以及观察者的知识和技能。

音素和视觉音素音素是语言中最小的可检测音位,用于区分单词,例如“pit”和“pik”因一个音素的不同而表示不同的概念。英语中约有44个音素,但在唇读中,视觉上可区分的单位——视觉音素(viseme)——要少得多,因此多个音素会映射到少数几个视觉音素上。这是因为许多音素在口腔和喉咙内发音,难以看到。许多音素对看起来是相同的,如[p]和[b]、[k]和[g]、[t]和[d]、[f]和[v]、[s]和[z],鼻音化(如[m]与[b])也是如此。形似音【Homophene】指的是在唇读时看起来相似但包含不同音素的单词。由于英语中的音素数量是视觉音素的三倍左右,因此通常认为只有30%的语音可以通过唇读来理解。形似音是导致唇读错误的重要原因。联合发音视觉音素可以通过静态图像捕捉,但语音是随着时间展开的。语音音素顺序的平滑发音可能会导致嘴部模式受相邻音素的影响:例如,“tooth”和“teeth”中的“th”音,由于元音环境的不同,表现出明显差异。这种动态语音阅读的特性影响了超越视觉音素的唇读能力。少量视觉音素如何“起作用”?虽然视觉音素为理解唇读提供了一个有用的起点,但视觉音素内的语音差异仍然可以被区分,并有助于识别。此外,语言词汇中的音素分布是不均匀的。一些单词在音素上与其他单词非常相似,而另一些单词则在音素分布上是“独特”的。语言的熟练使用者会利用这些知识在解读语音时进行判断。因此,即使一个单词包含的视觉音素很少,也可能因为没有其他单词与之相匹配而被明确地唇读出来。

可读性和技能的差异影响说话者面部可见性的因素有很多,包括光照、头部或摄像机的运动、图像的帧率以及观察者与说话者的距离。正常语音伴随的头部运动也可以独立于口腔动作来改善唇读能力。然而,在唇读连续语音时,观察者的语言知识、对说话者的熟悉程度、说话方式以及唇读材料的上下文都与说话者的可见性同样重要。虽然大多数听力正常的人对视觉语音很敏感,但个体之间的唇读技能差异很大。好的唇读者通常比差的唇读者更准确地从视觉语音中识别音素。简单的视觉音素测量方法来衡量“唇读可读性”受到了一些研究人员的质疑。“音素等价类”测量方法考虑了词汇的统计结构,并且可以适应个体唇读能力的差异。出色的唇读能力通常与更广泛的认知技能密切相关,包括一般的语言熟练度、执行功能和工作记忆等。听力正常的成年人:生命周期的考虑虽然唇读无声语音对大多数听力正常的人来说是一个挑战,但在许多情况下,将视觉与听觉结合起来可以提高语音处理能力。从音素特征的辨别到语用意义的理解,看到说话者的视觉信息有助于语音处理。在嘈杂的环境中,与安静环境相比,视觉信息对语音理解的正面影响更大,看到说话者的嘴形可以减少听觉处理的负担,从而释放出认知资源,使得听者能够更深入地处理语音内容。听力障碍者关于唇读(“口语主义”)与其他交流方式(如全语言交流)在聋人教育中的作用,一直存在激烈争论。某种方式的有效性取决于多种因素,包括聋人听力损失的程度、听力损失的时间、父母的参与度以及父母所使用的语言。此外,还涉及聋人及其社区和照护者的目标。教育的目标是提高沟通能力、发展手语作为第一语言,还是培养听力社会的口语能力?目前研究的重点是,考虑到孩子的听力状况、家庭语言环境以及他们的教育计划,哪种语言和交流方式最适合在何种环境下使用。双模双语(既精通口语又精通手语)是目前聋儿语言教育中的主流方法之一。聋人通常比正常听力者更擅长唇读。有些聋人通过专业训练成为职业唇读者,例如从事法庭唇读。在植入人工耳蜗的聋人中,植入前的唇读技能可以预测植入后对语音的听觉或视听处理能力。在成年人中,植入人工耳蜗的年龄越晚,聋人的视觉语音阅读能力越强。对于许多聋人来说,当语音信息通过训练有素的专业唇语讲解员传达时,他们能够更好地进行口语交流。关于唇读与识字能力的关系,先天性聋儿的识字技能通常发展较为迟缓,这可能反映出他们在获取口语元素方面的困难。特别是对于可靠的音素与字母的映射,对于需要熟练唇读以掌握这一必要步骤的聋儿来说,可能更具挑战性。唇读技能与聋人成人和儿童的识字能力密切相关,唇读训练可能有助于发展识字技能。教学与培训唇读教学与培训的目的是培养对唇读本质的认识,并练习提高“通过视觉听音”的能力。虽然唇读培训是否能够提高“通过视觉听音”的效果,尤其是对于听力损失的人,尚不完全明确,但有证据表明,通过系统的培训,唤起学生对视觉语音动作的关注,可以带来益处。唇读课程通常被称为“唇读和听力损失管理课程”,主要面向有听力损失的成年人。大多数听力损失的成年人患有与年龄或噪音相关的听力损失;在这些形式的听力损失中,高频声音首先丧失。由于语音中的许多辅音都是高频声音,因此语音会变得失真。助听器可以帮助改善,但不能完全解决问题。英国行动听力损失慈善机构【Action on Hearing Loss】(2012年)委托的研究表明,唇读课程对听力损失者有帮助。培训师认识到唇读是一门不精确的艺术。学生被教导要注意唇部、舌头和下颌的运动,关注语言的重音和节奏,利用他们的残余听力(无论是否使用助听器),观察面部表情和肢体语言,并运用他们的推理和推测能力。他们被教导唇读字母表,即在唇上看起来相似的一组声音(视觉音素),如[p]、[b]、[m]或[f]、[v]。目标是掌握大意,从而有信心参与对话,避免因听力损失而导致的社会隔离。唇读课程建议给任何在噪音环境中难以听清的人,并帮助他们适应听力损失。

0 阅读:36

摩登语言学

简介:语言是人类文明的基石,是民族团结的粘合剂