马赛克变高清!超分辨率算法若何实现480P变4K?_图像_算法
实在就算放眼到全体行业中来看,超高清内容缺少也是家当普遍存在的痛点,渠道的不完善,拍摄、制作水平的不成熟,技能的不敷都成为了阻碍行业发展的绊脚石,为了提高超高清***的生产能力,同时最大限度地节省本钱,就须要人工智能的参与,超分辨率算法便是办理这个问题的很好路子。
提到超分辨率算法,可能屏幕前的很多人还不太熟习,但一提到DLSS、FSR或者Xess,游戏玩家肯定都有所耳闻,虽然他们仨涉及的技能都不太一样,但从结果来看,这三种技能都能提高游戏分辨率,带来更好的游戏体验。而本日要说的超分辨率算法,某种意义上和AMD的FSR技能可以说是相称相似。
图像超分辨率问题研究的是在输入一张低分辨率图像时,如何得到一张高分辨率图像,传统的图像插值算法可以在某种程度上得到这种效果,比如最近邻插值、双线性插值和双三次插值等,但是这些算法得到的高分辨率图像效果并不理想。
在图像处理方面,又一个著名的算法waifu2x,它利用了SRCNN卷积神经算法,SRCNN是首个利用CNN构造(即基于深度学习)的端到真个超分辨率算法,它将全体算法流程用深度学习的方法实现了,并且效果比传统多模块集成的方法好。SRCNN流程如下:首先输入预处理。对输入的低分辨率LR图像利用bicubic算法进行放大,放大为目标尺寸。那么接下来算法的目标便是将输入的比较模糊的LR图像,经由卷积网络的处理,得到超分辨率SR的图像,使它尽可能与原图的高分辨率HR图像相似。
而AI超分辨率技能则是图像修复技能领域的一个方向。动漫***的产出过程中每每带有一系列数字旗子暗记处理的过程,包括锯齿、晕轮、色块、噪声处理,模糊线条处理等等,在以前,***事情者每每须要对源进行下采样,在母带分辨率下对不同片段进行参数剖析,并通过一系列滤镜进行手工修复,这造成了很大的人力本钱。
而本日的主角,便是B站AI实验室开源的Real-CUGAN工具(项目地址:https://github.com/bilibili/ailab/tree/main/Real-CUGAN),只要用了它,就可以把动画图像的质量提升2到4倍,而且近乎无损。
Real-CUGAN的全称为Real Cascaded-U-Net-style Generative Adversarial Networks(真实的、级联U-Net风格的天生对抗网络),利用了与Waifu2x相同的动漫网络构造,但由于利用了新的演习数据与演习方法,从而形成了不同的参数和推理办法。
技能细节方面来看,Real-CUGAN会先行对动漫帧进行切块处理,然后利用图像质量打分模型对候选块进行打分过滤,得到一个百万级的高质量动漫图像块演习集。然后利用多阶段降质算法,将高清图像块降采样得到低质图像,通过让AI模型学习、优化从低质图像到高质图像的重修过程,演习完毕后即可对真实的二次元低质图像进行高清化处理。
目前Real-CUGAN支持2x\3x\4x倍超分辨率,个中2倍模型支持4种降噪强度与守旧修复,3倍/4倍模型支持2种降噪强度与守旧修复,同时,如果你是Windows用户,作者还知心肠准备了Windows-GUI版本,https://github.com/Justin62628/Squirrel-RIFE/releases/tag/v0.0.3,***后即可利用。
与Waifu2x(CUNet)和Real-ESRGAN(Anime6B)比较,Real-CUGAN的上风还是比较明显的,作者也进行了一波比拟,结果如下:
目前B站的OGV国创剧《镇魂街第二季》已经已经上线了经由超分的4K分辨率版本,相信在未来,更多老番的高清重置版本也会在路上,AI技能的发展,正在从各个角度提升我们的体验。
(7874942)
本文系作者个人观点,不代表本站立场,转载请注明出处!