量子位 | "大众年夜众号 QbitAI

家人们，肃清“***闪烁”（比如画面溘然一白）有新招了！

回忆一下，当你看一部老电影或者用手机拍摄的***时，画面偶尔会涌现闪烁或颜色不一致等征象。

为了肃清这些，来自美图影像研究院、中国科学院大学，以及四川大学的研究职员提出了一种新算法。

新算法“BlazeBVD”可以自动肃清***中的闪烁，而且处理速率非常快，据称比现有方法快10倍。

更妙的是！
这种方法乃至无需事先知道***闪烁的详细类型或程度。

换句话说，它是“盲”的，可以运用于各种不同的***。

这下，纵然拍摄环境光芒变革，或者相机硬件跟不上也无需头疼了。
[doge]

目前干系论文已被打算机视觉顶会ECCV 2024吸收。

感兴趣的话，咱们接着康康~

BlazeBVD如何肃清***闪烁？

首先，受经典的STE（闪烁去除方法尺度韶光均衡）启示，BlazeBVD引入了直方图赞助办理方案。

图像直方图被定义为像素值的分布，它被广泛运用于图像处理，以调度图像的亮度或比拟度。

打个比方，图像直方图就像是一个统计表，它见告我们在一张照片中，不同亮度的像素有多少。

△ 图片由Claude 3.5 Sonnet天生

而STE通过剖析***中每一帧的直方图，然后用一种叫做高斯滤波的方法来平滑这些直方图，先初步纠正直方图分布突变的图像帧，能够让画面看起来更加稳定，减少闪烁。

虽然STE只对一些轻微的闪烁有效，但它验证了：

直方图比原始的像素数据更简洁，能够更有效地捕捉到***中的亮度变革和闪烁。
通过平滑直方图，可以减少***中的闪烁征象，让***看起来更稳定。

因此，利用STE和直方图的提示来提高盲***去闪烁的质量和速率是可行的。

详细而言，BlazeBVD包括三个阶段。

BlazeBVD三阶段详解

就像年夜夫治病一样，BlazeBVD会首先检讨***的每一帧。

它引入了STE对***帧在光照空间下的直方图序列进行校正。

然后从处理过的帧中提取出主要信息，比如哪些帧闪烁最明显（奇异帧集）、哪些地方光芒须要调度（滤波后的光照图），以及哪些地方曝光过度或不敷（曝光图）。

接下来，BlazeBVD开始进行修复。

一方面，BlazeBVD利用一个叫做全局闪烁去除模块（GFRM）的工具，利用之条件取的光照图来调度全体***的光芒，确保每一帧的亮度和颜色看起来都很自然。

另一方面，对付一些特殊须要关注的局部区域，比如曝光过度或不敷的地方，BlazeBVD会利用局部闪烁去除模块（LFRM）。
这个模块会利用光流信息（就像追踪物体在***中的运动）来修复这些区域的细节。

完成这一步，BlazeBVD最后进行完善事情。

它引入一个轻量级的时序网络（TCM），这个网络就像是***的“美容师”，确保每一帧在视觉上都是平滑过渡的，没有突兀的变革。

为了进一步提高***的同等性，BlazeBVD设计了一种分外的评分系统（自适应掩模加权丢失）。
这个别系会给每一帧打分，确保它们在视觉上的同等性，让全体***看起来更加流畅和自然。

至此，BlazeBVD完成了全体“诊治”流程。

实验结果

那么，BlazeBVD究竟效果如何呢？

直接看已有方法与BlazeBVD在盲***去闪烁任务上的结果比拟：

个中Deflicker为已有方法，GT（Ground Truth）表示空想的无闪烁***，而KL散度表示处理后的***与空想无闪烁***之间的差异。
KL数值越大，差异越大。

可以看出，BlazeBVD能很好地规复照明直方图，同时避免涌现颜色伪影和颜色失落真（例如第二列男人的手臂）。

再进一步和基线方法进行量化比拟：

BlazeBVD在PSNR（峰值信噪比，数值越高表示***质量越好）和SSIM（构造相似性指数，数值靠近1表示***质量越好）上得分较高，且在Ewarp（数值越低，***越连贯同等）得分较低。

一句话，BlazeBVD超越了已有基线方法。

为了直不雅观展现这种差别，BlazeBVD与基线方法的可视化比拟如下：

溶解实验也验证了BlazeBVD所设计模块的有效性：

概括而言，通过对合成***、真实***和天生***的综合实验，BlazeBVD展现了优胜的定性和定量结果，并且比最前辈的模型推理速率快10倍。

目前干系论文已公开，感兴趣可以进一步理解。

论文：https://arxiv.org/html/2403.06243v1

— 完 —

量子位 QbitAI · 号签

关注我们，第一韶光获知前沿科技动态约