您好、欢迎来到现金彩票网!
当前位置:刘伯温2018年一句玄诗 > 图像元 >

一图生万物!英伟达推超强图像转换神器小样本一秒猫变狗

发布时间:2019-06-07 10:12 来源:未知 编辑:admin

  【新智元导读】前一阵子英伟达的StyleGAN可谓是火了一把,近日又出大招了!以往图像到图像转换需要大量的图像做训练样本,但是在英伟达的这项工作中,仅需小样本就可以做到图像到图像的转换(代码已开源)!

  然而,对于机器来说就没有这么简单了。在现存的非监督图像到图像转换模型需要大量的训练图像。

  不仅如此,一个模型能够转换图像的另一个前提是图像中的对象必须在训练集中存在。

  近期,英伟达、康纳尔大学和阿尔托大学联合发表了一篇文章——小样本(few-shot)非监督图像到图像转换。

  简单来说,就是输入一只金毛,在训练过程当中,即便第一次看到一种新动物,也能让它像金毛那样吐舌头、闭嘴巴、歪头。

  这项工作还提供了在线测试,新智元小编们便拿自家的猫主子“西瓜”和“多比”做了一下测试:

  我们提出的FUNIT框架旨在通过利用在测试时可用的几个目标类图像,将源类的图像映射到目标类的类似图像。

  为了训练FUNIT,我们使用来自一组对象类(例如各种动物物种的图像)中的图像,称为源类(source classes)。我们不假设任何两个类之间存在配对的图像(即,不同物种的任何两个动物都不会是完全相同的姿势)。

  我们使用源类里的图像来训练一个multi-class无监督图像到图像转换模型。

  在测试过程中,我们从一个称为目标类(target class)的新对象类中提供少量几张图像。模型必须利用少量的目标图像来将源类里的任何图像转换为目标类里的类似图像。

  训练。训练集由各种对象类(源类)的图像组成。我们训练了一个模型在这些源对象类之间转换图像。

  部署。我们向训练模型显示极少量目标类里的图像,这就足以将源类的图像转换为目标类的类似图像了,即使模型在训练期间从未见过目标类的任何图像。

  需要注意的是,FUNIT生成器有两个输入:1)一个内容图像;2)一组目标类图像。它的目的是生成与目标类图像相似的输入图像的转换。

  与现有无监督image-to-image translation框架中有条件的图像生成器不同,它们是将一张图像作为输入,而我们的生成器G需要同时将一张内容图像x和一组K类图像{y1, ..., yK}作为输入,生成输出图像x?,公式如下:

  如表1所示,FUNIT框架在Animal Faces和North American Birds两个数据集的所有性能指标都优于用于小样本无监督图像到图像转换任务的基线模型。

  表1:FUNIT与基线模型的性能比较。↑表示数值越大越好,↓表示越小越好。

  图2:无监督图像-图像转换结果的可视化。计算结果采用FUNIT-5模型。

  从上到下分别是来自动物面孔、鸟、花和食物数据集的结果。每个示例随机展示了2张目标类中的图像,输入内容图像x,以及转换后的输出图像x?。

  结果表明,模型能够成功地将源类的图像转换为新的类中的相似图像。对象在输入内容图像x和相应输出图像x?中的姿态基本保持不变。输出图像也非常逼真,类似于目标类中的图像。

  图3提供FUNIT与基线模型的结果比较。可以看到,FUNIT生成了高质量的图像转换输出。

  从左到右的列分别是输入内容图像x,两个输入目标类图像y1,y2,来自不公平的StarGAN基线的转换结果,来自公平的StarGAN基线的转换结果,以及来自FUNIT框架的结果。

http://twistedear.com/tuxiangyuan/180.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有