智能高清“魔法”给影像开“美颜” 上海交大年夜团队自立研发***智能增强技能_***_团队
图说:上海交大团队自主研发***智能增强技能 采访工具供图(下同)
记录片《开国大典》中,天安门城楼上毛泽东主席头上的发丝、胸前的飘带清晰可见;87版电视剧《红楼梦》里,晶莹的泪珠顺着林黛玉的面颊滑落……褪却岁月留痕的斑驳,越来越多高清修复的宝贵历史影像资料和经典影视剧作品得以在更大的屏幕上呈现清晰真实的画面,为不雅观众带来更具沉浸感的不雅观看体验。
而与以往的人工影像修复不同,人工智能驱动的***智能增强技能带来了高效、强大的修复能力。在上海交通大学未来媒体网络协同创新中央,一支2022年度上海市科学技能一等奖获奖团队开拓了一套自主生态的智能***增强系统,并不断以新技能、新模型为真实天下的影像创造“高清美颜邪术”。
聪明识别,“无中生有”
录像带、光盘磁力消退、发霉长斑,宝贵历史影像资料因岁月流逝而暗淡、斑驳、缺损,历史文化珍档须要新的工具来实现传承和保护;***不雅观看体验正迅速进入超高清时期,但是全国数千个电***道仅有9个供应超高清内容,超高清***资源仍旧稀缺。能够实现高分辨率、高流畅度的***增强技能成为大量存量***的“美颜邪术”。
但是,传统技能大量依赖人工,昂贵低效,难以规模化推广;另一方面,真实天下中的***来源、内容和损伤多种多样,也为***增强性能带来极大的寻衅。“修复和增强实在是一件‘无中生有’的事,”项目领衔人张娅教授说,画面中受损丢失的部分要得到复原,实际上是打算机“插入”像素值来“填色”。
打算机要如何“补缺”?同样是“脸”处理却不同——高清的孙悟空要锐化,才能看到根根分明的毛发;高清的林妹妹却要“磨皮”,展现娇嫩肤质。张娅教授说,团队让打算机通过内容语义的分区识别,可以聪明“辨清”人脸、建筑或自然场景等画面不同区域,再自适应地选择更为匹配对应的区域的参数让画面合理且清晰。
多管齐下,修旧如旧
“各种历史影像退化情形不同,有的是条纹噪声,有的是斑块划痕。我们修复开国大典原始影像时就碰着颜色通道条纹滋扰,这意味着无法用统一的模型进行快速增强。”团队成员张小云教授先容,团队发明了高阶数、多层次退化仿真方法,利用多种退化办法的线性和非线性叠加,让打算机的修复更有针对性。
这些技能令***在细节、层次、色彩和噪声四方面均有明显提升。基于研发的AI***增强平台,团队完成了中心广播电视总台279段宝贵历史影像资料的超高清增强,包括庆祝建党百年七一庆典演出《伟大征程》历史素材修复、一大纪念馆新馆展陈***修复、历届冬奥会开幕式集锦修复、《飞向月球》增强、百首经典影视金曲修复等。
创新迭代,探索前沿
动态的***是由一帧一帧画面叠加而来,插入额外的图像帧能提高***流畅度和视觉质量。团队创新算法,能够针对繁芜运动、有遮挡等画面实现精准插帧,不会产生伪影,不雅观看效果更加流畅。
超高清***数据吞吐量极大,须要软硬件协同优化以提升打算效率并降落运用本钱。团队携手华为研发了一系列软硬件耦合优化的***增强处理算子,通过软硬件结合的跨层优化,构建了全流程自主可控的国产AI***增强平台,在插帧、超分辨等紧张***增强任务的打算效率上均优于外洋同级别产品。
天生式人工智能的加持下,能够快速自主天生更优质的画面,团队研发的新模型达到了更好的感官效果。张娅表示,针对不断变革的用户不雅观看场景,团队向着更清晰、更流畅的目标不断探索更前沿的技能模型。
目前,项目团队与咪咕视讯互助,在影视点播和赛事直播超高清增强上形成了规模化运用,为咪咕视讯的AI修复超高清专区,供应了超过390小时增强***。在开展4K超高清增强运用的同时,还承担了国家“百城千屏”项目8K***资源的增强制作,为***家当迈入8K时期供应了技能支撑。
新民 易蓉
本文系作者个人观点,不代表本站立场,转载请注明出处!