您好、欢迎来到现金彩票网!
当前位置:刘伯温2018年一句玄诗 > 图像压缩 >

OpenAI提出稀疏Transformer模型:文本、图像、声音一网打尽将可

发布时间:2019-07-31 02:33 来源:未知 编辑:admin

  几个月前,OpenAI推出了一种自然语言处理模型,能够从维基百科以及亚马逊的产品评价中生产连贯的文本段落。

  最近,其开放的OpenAI Five 人工智能系统在全网公开赛中放出了骄人战绩——击败了99.4%的玩家。在和3万多名人类玩家的对垒中,只输了42场。

  OpenAI的大招还不止如此。今日凌晨,OpenAI发博文表示,在这些和其他研究的基础上,他们开发了一种深度神经网络稀疏 Transformer(Sparse Transformer),可以实现生成式模型,在文本、图像、声音等序列预测上都创造了新纪录。并且可预测的序列长度比之前可能的长度长了30倍。

  “人工智能研究的一个现有挑战是如何对复杂数据中远距离,且较精细的相互依赖性进行建模,”OpenAI技术人员Rewon Child和软件工程师Scott Gray在博客文章中写道。“过去,在这些数据上使用的模型往往只是针对一个域专门设计的,或者是很难扩展到超过几千个元素的序列。相比之下,我们的模型可以使用上百层对有上万元素的序列进行建模,并且在多个域中实现最先进的性能。

  与所有深度神经网络一样, Transformer包含排列在互连层中的神经元(本质用数学函数模拟生物神经元),这些层从输入数据传入“信号”,并缓慢调整每个连接的权重。这是模型如何提取特征并学习以及如何进行预测的关键点。在 Transformer 中,每个输出元素与每个输入元素都相连,它们之间的权重是动态计算出来的,而过程称为注意力。

  注意力机制通常需要为每个层和每个所谓的注意头创建一个注意力矩阵,从计算的角度来看这不是特别有效。例如,包含24,000个样本的2秒音频片段或64低分辨率图像的语料库可能分别占用590GB和154GB内存,而这远远高于用于训练AI模型的GPU的负载。

  OpenAI的方法通过重新计算矩阵来最小化内存使用量,上面描述的590GB的内存需求在重新计算后仅需9.2GB;154GB可压缩到2.4GB。于是,实际上最大的内存开销就变得与层数无关了,因此就允许所述模型进行“非常深”的深度来进行训练。

  由于单个注意力矩阵对于庞大的数据量输入并不是特别实用,因此本文提出的深度神经网络实现了稀疏注意力模式,其中每个输出仅从输入子集计算权重,对于跨越较大子集的神经元层,通过矩阵因子分解来转换矩阵,他们认为这是保持神经网络层学习数据模式能力所必需的一步。

  通常,实现稀疏注意力需要将查询和关键矩阵进行“切片”,因此为了简化实验,OpenAI 实现了一组块稀疏核,这些核在 GPU 上高效地执行这些操作。另外,OpenAI开源了这些内核,并在Github上提供示例稀疏注意函数。

  根据OpenAI的博客介绍到,即使经过改进,自回归序列生成对于非常高分辨率的图像或视频来说仍然是不切实际的。不过,提出的优化注意力操作可能是一次有益的探索,可以和其他(如多尺度方法)方法相结合来对高维数据进行建模。

http://twistedear.com/tuxiangyasuo/715.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有