编辑:泽南、小舟

1.5K star量上古老番变4KB站开源超分辨率算法_模子_图像 云服务

这是 B 站 AI 实验室的最新成果。

喜好看动漫的人常常会被一些经典作品的情节所吸引,不过画面质量是欣赏下去的大敌 —— 那些超过十年历史的内容自不必说,直到现在,很多动画的实际分辨率也只是 720p 旁边,然后被拉伸到 1080i 以知足电视台播放的需求,BD(蓝光)清晰度也只有 1080p。

究其缘故原由,还是本钱问题:在动画制作过程中,让分辨率提升一个级别,就会导致所有的制作资源大幅提升,从作画、扫描到处理和存储,全体家当链条都须要软硬件的提升。

但本日纵然是手机也有个 2K 的分辨率,既然手绘动画难以提升分辨率,那么能不能用 AI 算法来办理这个问题?

最近,GitHub 上一个图像超分辨率的项目火了,一个叫做 Real-CUGAN 的工具可以把动画图像的质量提升 2 到 4 倍,*** 上斗图的表情包也能给你脑补成 4k 品质。

仔细一看,这个项目来自 bilibili 人工智能实验室。
上线 20 天,star 量已达 1.5K。

项目链接:https://github.com/bilibili/ailab/tree/main/Real-CUGAN

据作者先容,Real-CUGAN 是一个利用百万级动漫数据进行演习的,构造与 Waifu2x 兼容的通用动漫图像超分辨率模型。
比较目前市情上已有的通用化超分辨率算法,Real-CUGAN 的 AI 模型经由了更大体量数据集的演习,处理二次元内容的效果更佳。

它支持 2x\3x\4x 倍超分辨率,个中 2 倍模型支持 4 种降噪强度与守旧修复,3 倍 / 4 倍模型支持 2 种降噪强度与守旧修复。

Real-CUGAN 全称为 Real Cascaded-U-Net-style Generative Adversarial Networks(真实的、级联 U-Net 风格的天生对抗网络),利用了与 Waifu2x 相同的动漫网络构造,但由于利用了新的演习数据与演习方法,从而形成了不同的参数。

详细来说,该动漫超分模型演习先行对动漫帧进行切块处理,利用图像质量打分模型对候选块进行打分过滤,得到一个百万级的高质量动漫图像块演习集。
然后利用多阶段降质算法,将高清图像块降采样得到低质图像,让 AI 模型学习、优化从低质图像到高质图像的重修过程,演习完毕后即可对真实的二次元低质图像进行高清化处理。

在 GitHub 项目中,作者开源了推理阶段的模型参数与推理代码。

下面,我们来看一下 Real-CUGAN 的修复效果。

图源:https://github.com/bilibili/ailab/tree/main/Real-CUGAN

为了进一步查看几种修复方法的差距,研究团队将 Real-CUGAN 的修复效果和 Waifu2x、RealESRGAN 进行比较。

下图是动漫《侦查已去世》中的画面,个中几种方法对沙发纹理的修复差距显著。
可以看到,在 Real-CUGAN 的修复结果中,沙发上的横向条纹清晰可见,并且险些没有中断的部分:

在动漫中,人物清晰的线条对角色形象的塑造具有主要的浸染。
线条模糊会严重影响不雅观看体验。
以下图为例,Real-CUGAN 清晰地修复了动漫中角色的表情线条:

当然,有些场景并非越清晰越好,比如画面中的一些远景,原来便是刻意虚化的。
以下图为例,Real-CUGAN 修复之后,近景处的人物形象变得更清晰,远处的烛炬仍旧保持模糊,使得画面更有层次感。

还有一些动漫由于年代久远,受当时技能条件的限定,画质其实「动听」。
例如许多人的童年回顾《黑猫警长》,先前的模型 RealESRGAN(下图第三列)已得到了不错的修复效果。
比较之下 Real-CUGAN(下图第四列)更好地修复了一些杂线、模糊的问题,让画面更加干净清晰。

更为主要的是这项技能想要用很大略:你***的模型已演习好,修正 config.py 配置参数,双击 go.bat 运行即可。
Real-CUGAN 不仅可用 cuda 加速,也支持 AMD 系列的显卡,处理速率还很快,条记本电脑也可以跑得起来。

虽然 Real-CUGAN 默认是只处理静态图片的,但很多人已考试测验把***拆解成单帧序列进行处理。
如此一来,很多上古老番都能自己上手让它们焕然一新了。

目前 B 站上已经有人上传了一些利用新技能处理过的***,比如这个在 1080p BD 根本上超分到 4K 的: https://b23.tv/gyB517B

在很多电影修复之后,老番高清操持也已在路上。
B 站表示,将针对不同品类适配不同的超分算法,并且利用窄带高清算法降落卡顿,提高流畅度。

参考内容:

https://www.bilibili.com/read/cv15031073