jalapsikixkino视频

AI新海诚便是在下,不相信来玩

原题目:AI新海诚便是在下,不相信来玩

鱼羊 发自 凹非寺

量子位 报导 | 微信公众号 QbitAI

那样的东京街景,是否有点儿日式实录日本动漫那类feel了?

如今,不用人们绘师一帧帧构画,将你拍下来的视頻来养AI,就能让现实世界一下子掉进二次元世界。

搭景:

特色美食:

乃至复仇联盟,也可以一瞬间摆脱电影宇宙和动漫漫画宇宙空间的界线。

此项科学研究名叫 White-box-Cartoonization,来源于巨量引擎、东京大学和Style2Paints研究室。

毕业论文已收录与CVPR 2020。

白盒可爱卡通表明

这般AI「法术」的重要,還是转化成对抗网络(GAN)。

而且,科学研究工作人员明确提出了三个白盒表明方式,各自用于表明光滑表面、构造和纹路。

表面表明:表明日本动漫图像的光洁表面。

应用导向性过滤器对图像开展解决,在维持图像边沿的另外光滑图像,除去图像的纹路和关键点信息内容。

构造表明:获得全局性构造信息内容和稀少图形。

最先应用felzenszwalb优化算法将图像切分成不一样的地区。

因为超清晰度优化算法只考虑到清晰度的相似度而忽视词义信息内容,科学研究工作人员进一步引进可选择性检索来合拼切分地区,获取稀少切分图。

此外,规范的超清晰度优化算法会使全局性饱和度减少,造成图像发暗。

因此,科学研究工作人员明确提出了一种响应式上色优化算法,以提高图像饱和度,降低若隐若现实际效果。

随后,用预训炼的VGG16互联网获取制作器转化成的图像和提取的构造表明的高級特点,限定空间布局。

纹路表明:体现可爱卡通图像中的高频率纹路、轮廊和关键点。

科学研究工作人员明确提出了一种从颜色图像中获取多通道纹路表明的任意色调偏位优化算法,以保存高频率纹路,降低颜色和色度的危害。

全部GAN架构含有一个制作器G,及其2个辨别器Ds和Dt。在其中Ds致力于区别实体模型輸出的表面表明和真实的日本动漫图像。Dt用以区别实体模型輸出的纹路表明和真实的日本动漫图像。

实际来讲,制作器互联网是一个相近U-Net的全卷积网络。

科学研究工作人员应用 stride=2 的卷积层开展下采样,以双线性插值层做为上采样,以防止棋盘式伪影。

该互联网只由3种层构成:卷积层、Leaky ReLU (LReLU)和双线性调节层。这促使该互联网能轻轻松松置入到手机上等边沿机器设备中。

辨别器互联网则根据PatchGAN开展了调节,其最终一层为卷积层。

輸出特点图上的每一个清晰度相匹配键入图像中的一个图像块 (patch),用以分辨图像块归属于真实的日本动漫图像還是转化成图像。

训炼数据层面,景色图像收集自新海诚、宫崎骏和细田守的动漫作品,人像图片图像则来源于京都动画和PA Works。电影都被剪接成帧并任意裁剪,尺寸为256×256。

试验結果

因此,这类图像卡通化方式的实际效果到底怎样。

在定量分析试验中,科学研究工作人员发觉,AI获取的表明取得成功忽悠了训炼好的支持向量机。

与初始图像对比,支持向量机在三个获取的可爱卡通表明中准确度都较为低。

此外,测算出的FID指标值也显示信息,可爱卡通定性分析有利于变小真实的世界相片和可爱卡通图像中间的差别。

再看来一组形象化的比照。

△(f)-(g)为CartoonGAN

与以前的方式对比,白盒架构能转化成更加清楚的界限轮廊,并有利于维持颜色的和睦。

例如,图上(f)-(g)所展现的CartoonGAN的一些设计风格就存有颜色失确实难题,而白盒架构颜色更加当然。

此外,白盒架构也合理地降低了伪影,实际效果跨越CartoonGAN。

网民:震撼

这般实际效果,让许多网民大呼「震撼」,在reddit上做到了500 的关注度。

有网民表明,拥有那样的高科技,将来,也许只必须一个艺术创意,就能打造出一部好著作。销售市场的准入条件门坎将因而而减少。

也是有网民觉得,颜艺、装萌这类实际中不会有的界面,還是要靠影视动画工作人员的写作。但是,那样的AI未来毫无疑问能缓解影视动画工作人员的劳动量。

如今,科学研究工作人员还释放了线上Demo,假如你很感兴趣,能够 亲身入门试一下~

最终,左侧源于人们的画笔工具,右侧是AI的手游大作,你pick哪一个?

传送器

GitHub详细地址:

https://github.com/SystemErrorWang/White-box-Cartoonization

线上Demo:

https://cartoonize-lkqov62dia-de.a.run.app/cartoonize

— 完—

文中系新浪新闻•网易自媒体特点內容激励计划签订账户【量子位】原創內容,没经账户受权,严禁随便转截。

报考 |「隐私保护测算 AI」技术性直播间

不了解一切隐私保护AI技术性的状况下,开发人员如何保证只修改两三行编码,就将目前AI代码转换为具有数据信息个人隐私保护作用的程序流程?

8月6号, 中国科学院手机软件研究室博士研究生、引流矩阵元优化算法生物学家--谢翔将直播间分析,加助手“qbitbot9”或是立即扫二维码,就可以进入直播交流群:

量子位 QbitAI · 今日头条号签订创作者

վ'ᴗ' ի 跟踪AI技术性和商品最新消息

喜爱再点「在看」吧 !

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

相关文章阅读