交汇点讯 近日，美国一款即时性音频社交软件Clubhouse风靡环球，不到一年的上线韶光，软件环球***量打破800万。
“Spaces”“对话吧”“SoundClub”等一系列类似软件紧跟其后，彷佛都在暗示声音社交回归舞台。

自出生后的第一声呜咽开始，我们与声音已经“相处”已久，但关于“声音”，或许我们还有许多方面值得穷究。
人工智能时期，声音在被捕捉、模拟、传输和理解的过程中，究竟经历了什么？本期《科技周刊》带你走进声音的天下。

语音中的声音为何变“奇怪”

现实生活中，很多人有这样的经历：当你饱含深情地说了一段语音后，语音播放出来却不仅声音变得奇怪，听起来乃至不太像自己。
明明是同一个人在说话，为何会涌现这样的差异呢？究竟哪个才是自己最真实的声音？“实际上，这紧张有两个缘故原由，首先是声音传播的办法不同，另一个是语音经由社交平台转录出去后常常会被压缩。
”中国科学院声学研究所研究员、中国科学院措辞声学与内容理解重点实验室副主任张鹏远接管《科技周刊》采访时表示，声音是由物体振动产生的，“别人听见你的声音”是由你声带的振动引起了空气的振动，从而被他人感知，所以是依赖空气传播；而“自己听见自己的声音”则是通过颅骨传导，直接振动耳蜗进而转化为神经旗子暗记，变成你所听到的声音，这也便是我们常说的“骨传导”。
“由于传播办法的不同，且环境中存在着大量滋扰，同一个人说的话自己听见的版本和别人听见的版本是不同的。
” 除此之外，声音之以是变“奇怪”可能还涉及到编码和解码的问题。
“当我们对着麦克风说话，声音被麦克风采集后转为数字旗子暗记，这时候就可能会涌现失落真。
”张鹏远以有损音频和无损音频举例，如果把声音视作为一条曲线，无数的点构成了这条曲线。
对付同样一段声音，有损音频的采样频率和采样精度比较低，比如每秒钟采样8000个点（约为打电话时所用的采样频率），那么声音自然就会涌现偏差。
同一首歌曲，采样频率和采样精度越高，其对声音的还原程度也就越高。
“一样平常来说，有损音频和无损音频的文件大小可以相差10倍以上。
我们通过微信发送语音，由于要降落传输数据量，以是一样平常都会对其进行压缩。
” 声音和我们的指纹一样，有着每个人各自的独特之处，并且相对稳定、可辨别。
“由于人的发声器官位置、尺寸不同，并且每个人声音的音色、腔调等特色不同，以是从人声音中提取出来的声纹（人的声音频谱）具有唯一性。
”张鹏远表示，现在很盛行的声纹识别技能实际上便是将声旗子暗记转化为数字旗子暗记，再利用技能手段捕捉特定工具的声纹特色，从而剖断说话的人是谁。

你的声音如何被“复刻”

自1939年天下上第一台能够合成人声的电子设备Voder亮相纽约天下展览会以来，“如何能让机器模拟人的声音”就成了人工智能领域的一大热点话题。
江苏省人工智能学会智能语音专家、苏州思必驰信息科技有限公司联合创始人、上海交通大学苏州人工智能研究院实行院长俞凯教授见告《科技周刊》，人工智能语音合成技能正不断迭代更新，其发展历史紧张分为三个阶段：在第一代技能，我们须要被模拟人提前录制一个弘大的音库，这个音库会被切分成多少小段随时待取，当我们所须要合成的语音中每一个涉及的词都提前录制过，则可以直接调取。
“这种情形下播放出的声音将会很逼真，基本上便是录音，但其缺陷在于须要提前录制大量语料，一旦碰着没有提前录制的词句，就会涌现间断等明显不自然情形。
” 第二代技能开始利用机器学习技能，首先将采集到的声音利用干系参数化的统计模型进行建模，利用旗子暗记处理的办法，将建模之后天生的声音频率特色进行旗子暗记处理，末了输出我们能够听见的声音。
“只管这种办法的连贯性会好很多，但由于在统计模型的建模过程中声音频率特色会被平滑，从而产生音质丢失，因此整体来看第二代技能所合成的语音并不是那么逼真。
”而在第二代技能的根本上发展起来的第三代语音合成技能，大多是基于深度学习中的神经网络技能开展。
“和第二代相似，现在的第三代技能也是数据驱动的，但大多采取了前辈的端到端深度学习框架，数据演习后合成的声音比较连贯和自然。
如果在录音条件非常好且有充足数据的情形下，其合成声音和真人声音没有太大差异，人耳基本上听不出差异。
” 目前利用语音合成技能去模拟人声，须要通过神经网络去捕捉被模拟人声音中的三类紧张变革特性。
俞凯先容，首先是措辞笔墨的特色，即这个词该当发什么音；第二类特色是韵律的特色，即声音的抑扬抑扬；末了还须要把握说话人的时长特色，即说话人发每个音须要用的韶光。
“男人和女人、老人和孩子，不同人说话的声音各不相同，这三类特色信息被神经网络捕捉到之后会天生一个频谱序列，而这个序列会被通报到另一类神经网络中，最终生成模拟后的声音。
” 生活中，很多车主将林志玲、郭德纲等名人的声音设定为舆图软件中的导航提示音，实在这也得益于语音合成中的复刻技能。
“全国大大小小的路名有很多，全部让人念出来录音险些是不可能的事。
因此，我们须要前期在高保真录音室中记录很多人的语音数据，演习一个均匀模型，随后将特定目标人说话的录音导入，让系统根据目标人说话特色进行调优，从而尽可能模拟目标人的声音。
”张鹏远表示，一样平常来说，合针言音的自然度和相似度是通过MOS（均匀主不雅观见地分）分来进行评价。
MOS分满分为5分，一样平常情形下采集目标人100句话之后所能合成的语音，其MOS分可以达到4.2分的水平；而如果只采集到5句话，则MOS分就会比较低，人耳能明显听出不同。

透过声音能“瞥见”脸吗

两年前，康奈尔大学研究团队设计并演习了一个深度神经网络，它在演习过程中学习了视听、音像、声音和面部的关联性，从而根据声音来推测面部特色。
透过声音，人工智能真的能够“看到”脸吗？目前，人工智能领域对声音的研究又有何新进展？对此，张鹏远认为，纯挚借助声音无法百分百还原目标人的脸部图像，但有可能还原出其部分面部特色。
“人的声音和人脸的图像实在是有干系性的，例如我们在单看唇部运动的时候，哪怕没有出声，也可以识别其部分说话内容，以是说声音和图像并不能被割裂，而是强干系。
” 从康奈尔大学研究团队的实验结果来看，通过声音，人工智能确实可以天生与目标人类似的面孔，可以还原其部分特色，但和真实长相还有一定差距。
俞凯表示，说话人的年事、性别、面部骨骼等生理学特色确实与人的声音具有干系性，可以一定程度上还原说话人的面部特色，但想单独凭借声音这一种模态来完备重构人脸，目前是做不到的。
近年来，随着人工智能领域对付声音的研究越来越多，其发展速率也不断加快。
“在人与人工智能的语音交互过程中，不单单包括语音合成和识别，还涉及对说话内容的理解。
”俞凯进一步阐明，目前大多数人打仗到的语音交互紧张是“你一句，我一句”轮换着对话的模式，而我们现在正在研究的是即兴自然语音交互的新架构，即真人与人工智能可以自由对话。
大略来说便是，对话期间任何一方都可以打断另一方；当人没有表达完自己想表达的意思时，人工智能会等人连续说完；而当人表达完意思后，人工智能可以急速反馈。
“我们采取‘全双工’的交互架构，帮助人工智能在‘听见’声音的根本上，能够在语音交互过程中理解说话人的意思，而这些都是早期人工智能语音交互系统里所不具备的。
”

新华日报·交汇点 谢诗涵