量子位 宣布 | "大众年夜众号 QbitAI

AI已经能教你画油画了。

随便给一张图，笔画序列秒秒钟呈现。

比如天下名画蒙娜丽莎。

亦或是写实类的小鸟。

还有极具氛围感的河灯。

总之什么风格都可以驾驭。

这项技能在Reddit上21小时内就已经有600+的点赞量。

究竟是如何打造的呢？

神经绘画，便是为给定的图像天生一系列笔画，并利用神经网络进行绘画式的真实再现过程。

研究团队提出了一个基于Transformer的框架，叫做Paint Transformer，用前馈网络来预测笔画的参数。

由于当前没有可用的数据集来演习Paint Transformer，受物体检测启示，研究职员设计了一个自演习Pipeline。

全体模型由两个模块组成：笔画预测器和笔画渲染器。

给定目标图像和中间画布图像，笔画预测器，天生一组参数以确定当前笔画集。

预测器包含了两个用于特色嵌入的CNN网路和一个用于参数预测的Transformer。

随后，笔画渲染器为笔画集汇总的每个笔画，天生笔画图像，并将它们绘制到画，产生结果图像，大小为512512。

在DETR（用Transformer进行工具检测）的根本上，增加了二进制神经元来预测笔画是否该当被保留。

这样它就可以在没有任何现成的数据集的情形下进行演习，同时还能实现出色的泛化能力。

实验表明，这一方法比以前的方法取得了更好的绘画性能，而且演习和推理本钱更低。

百度南大团队打造

这项技能由百度、南京大学、罗格斯大学共同打造。

目前代码已经开源，并在一刻相册App上运用。

论文地址：https://arxiv.org/abs/2108.03798GitHub网址：https://github.com/wzmsltw/PaintTransformer

— 完 —

量子位 QbitAI · 号签约

关注我们，第一韶光获知前沿科技动态