文本秒生成图像,震惊业界!详解OpenAI两大AI模型

1月7日消息,2021开年,顶着地表最强语言模型GPT-3的光环,OpenAI在自然语言处理领域一路高歌猛进,于昨日推出两个跨越文本与图像次元的模型:DALL?E和CLIP,前者可以基于文本生成图像,后者则可以基于文本对图片进行分类,两者都意在打破自然语言处理和计算机视觉两大门派“泾渭分明”的界限,实现多模态AI系统。

什么是多模态系统呢?

就像人类有视觉、嗅觉、听觉一样,AI也有自己“眼鼻嘴”,而为了研究的针对性和深入,科学家们通常会将其分为“计算机视觉”、“自然语言处理”、“语音识别”等研究领域,分门别类地解决不同的实际问题。

每一个研究领域也可以被称为一种模态,通常来说,多模态学习(MultiModal Learning)就是在不同的模态间构建联系,让AI学会“通感”。

一、GPT-3“继承者”:看文绘图的DALL?E

DALL?E的名字取自艺术家Salvador Dali和皮克斯动画片机器人总动员(WALL-E),而与GPT-3一样,它也是一个具有120亿参数的Transformer语言模型,不同的是,GPT-3生成的是文本,DALL?E生成的是图像。

▲Dali代表作《记忆的永恒》和机器人总动员海报。

在博客上,OpenAI也大秀了一把DALL?E的“超强想象力”,随意输入一句话,DALL?E就能生成相应图片,这个图片可能是网络上已经存在的图片,也可能是根据自己的理解“画”出的。

▲输入文本分别是:穿芭蕾舞裙遛狗的萝卜、牛油果形状的扶手椅、将上部的图片素描化

DALL?E是如何实现先理解文字,再创造图片的呢?

那首先要从理解token开始,语言学中对token的定义是词符,或者标记。对于英语来说,每个字母就是一个token,每一个单词就是一个tokens。

但在NLP中,tokens并不一定代表完整的单词,如re、ug等没有实际意义的字母组合也算一个tokens。

在最早提出Transformer架构的论文《Attention is all you need》里,就提到了BPE(Byte-Pair Encoding)编码方法,简单来说,BPE就是通过分析训练集中每个单词的组成,创建一个基础词汇表,词汇表里涵盖了一定数量最常用的tokens。

模型中tokens的数量是超参数,也就是训练模型中人为规定的。

DALL?E同时包含着BPE编码的文本和图像词汇表,分别涵盖了16384、8192个tokens。

当需要生成图片时,它以单一数据流的形式,接收1280个文本和图像的tokens(文本256个tokens,图像1024个tokens),建立回归模型。

与大多数Transformer模型一样,DALL?E也采用自注意力机制(Self-Attention),分析文本内部的联系。

在DALL?E的64层自注意层中,每层都有一个注意力mask,就是为了使图像的每个tokens都能匹配文本tokens。

OpenAI也表示,更具体的架构和详细训练过程会在之后的博客中公布。

二、普适的DALL?E:从改变物体关系到创造“不存在”

比起长篇累牍地描述自己模型的优越性,OpenAI则是用大量实测案例证明了自己。

如动图所示,我们可以通过简单地改变按钮选项,将钟改为花盆,再将绿色改为黄色,再将三角形改为正方形。

▲原输入文本:三角形绿色的钟

将上方的物块改成书,再将物体的上下叠放关系改成左右摆放。

当一句话含有多个主体时,例如“红色的物块放在绿色的物块上面”,DALL?E需要分辨出这两个物块是两个不同的物体,且他们之间的位置关系是上下叠放。

但OpenAI的研究人员也承认,随着输入文本中描述主体的增多和关系的复杂,DALL?E生成的图像会更不准确。

▲输入文本:一堆立方体,红色的立方体在绿色立方体的顶部,绿色立方体在中间,蓝色立方体在底部。

如动图所示,将特写图改成前视图,将背景从草地改成山上。

▲原输入文本:特写图下,在草地的水豚

除了二维图像理解,DALL?E也能将某些类型的光学畸变(Optical Distortions)应用到具体场景中,展现出“鱼眼透视”或“球形全景态”图等效果。

▲输入文本:核桃横截面图

将文本目标“翻译”成图像这个问题,是没有唯一答案的,且语言中常含有字面所没有的引申义。

如“日出时,坐在田野上的水豚的绘画像”这一文本目标,其中并没有提到水豚的阴影,但根据经验我们也能知道,日出时,水豚必然会有由于阳光照射产生阴影。

因此,DALL?E就需要通过Transformer中的上下文推理,通过自己的“经验”,得到这一结论。

▲输入文本:日出时,坐在田野上的水豚的绘画像。

DALL?E还具有将完全不同的物品合成起来的能力,创造一些现实世界不可能出现的物体。

▲输入文本:竖琴状的蜗牛

三、“zero-shot”践行者:按词分图的CLIP

如果说DALL?E是GPT-3在图像领域的延伸,那CLIP就是主打“zero-shot(零样本)”,攻破视觉领域的深度学习方法的三大难题。

对此,OpenAI联合创始人Ilya Sutskever曾发文声称,语言模型或是一种解法,我们可以通过文本,来修改和生成图像。

基于这一愿景,CLIP应运而生。

CLIP全称是Contrastive Language-Image Pre-training,根据字面意思,就是对比文本-图像预训练模型,只需要提供图像类别的文本描述,就能将图像进行分类。

怎么分?为什么能分?

CLIP靠的就是预训练阶段,OpenAI从互联网中收集的4亿个文本-图像对。接着,凭着与GPT-2/3相似的“zero-shot”设计,CLIP在不直接针对基准进行优化的同时,表现出优越的性能:鲁棒性差距(robustness gap)缩小了75%,性能和深度残差网络ResNet50相当。

也就是说,CLIP无需使用ResNet50同样大的训练样本,就达到了原始ResNet50在ImageNet数据集上的精确度。

在众多数据集上,CLIP都有着可以与ResNet50升级版ResNet101媲美的精度,其中ObjectNet数据集代表模型识别物体不同形态和背景的能力,ImageNet Rendition和ImageNet Sketch代表模型识别抽象物体的能力。

虽然二者在ImageNet测试集上的表现相差无几,但非ImageNet设置更能代表CLIP优秀的泛化能力。

为了识别出未曾见过的类别(图像或文本),Zero-shot这一概念可以追溯到十年前,而目前计算机视觉领域应用的重点是,利用自然语言作为灵活的预测空间,实现泛化和迁移。

在2013年,斯坦福大学的Richer Socher教授就曾在训练CIFAR-10的模型时,在词向量嵌入空间中进行预测,并发现该模型可以预测两个“未见过”的类别。

刚刚登上历史舞台、用自然语言学习视觉概念的CLIP则带上了更多现代的架构,如用注意力机制理解文本的Transformer、探索自回归语言建模的Virtex、研究掩蔽语言建模的ICMLM等。

四、详细解析,CLIP的“足”与“不足”

在对CLIP有一个基本的认识后,我们将从四个方面详细剖析CLIP。

简单来说,CLIP的任务就是识别一张图像所出现的各种视觉概念,并且学会它的名称。比如当任务是对猫和狗的图片进行分类,CLIP模型就需要判断,目前处理的这张图片的文字描述是更偏向于“一张猫的照片”,还是一张狗的照片。

在具体实现上,有如下流程:预训练图像编码器和文本编码器,得到相互匹配的图像和文本,基于此,CLIP将转换为zero-shot分类器。此外,数据集的所有类会被转换为诸如“一只狗的照片”之类的标签,以此标签找到能够最佳配对的图像。

在这个过程中,CLIP也能解决之前提到的三大问题。

1、昂贵的数据集:25000人参与了ImageNet中1400万张图片的标注。与此相比,CLIP使用的是互联网上公开的文本-图像对,在标注方面,也利用自监督学习、对比方法、自训练方法以及生成建模等方法减少对人工标注的依赖。

2、只适用于单一任务:由于已经学会图片中的各种视觉概念,所以CLIP可以执行各种视觉任务,而不需要额外的训练和调整。如下也展示了CLIP模型识别各类型图像中视觉概念,无论是食物、场景还是地图,都是有不错的表现。

3、实际应用性能不佳:基准测试中表现好的模型在实际应用中很可能并没有这么好的水平。就像学生为了准备考试,只重复复习之前考过的题型一样,模型往往也仅针对基准测试中的性能进行优化。但CLIP模型可以直接在基准上进行评估,而不必在数据上进行训练。

高效且灵活通用。

CLIP需要从未经标注、变化多端的数据中进行预训练,且要在“zero-shot”,即零样本的情况下使用。GPT-2/3模型已经验证了该思路的可行性,但这类模型需要大量的模型计算,为了减少计算量,OpenAI的研究人员采用了两种算法:对比目标(contrastive objective)和Vision Transformer。前者是为了将文本和图像连接起来,后者使计算效率比标准分类模型提高了三倍。

▲CLIP模型在准确率和处理图像大小上都优于其他两种算法。

由于CLIP模型可以直接从自然语言中学习许多视觉概念,因此它们比现有的ImageNet模型更加灵活与通用。OpenAI的研究人员在30多个数据集上评估了CLIP的“zero-shot”性能,包括细粒度物体分类,地理定位,视频中的动作识别和OCR(光学字符识别)等。

下图也展示了12种模型在27种数据集准确率和处理图像大小的比较。CLIP-ViT和CLIP-ResNet两类CLIP方法都遥遥领先。

尽管CLIP在识别常见物体上表现良好,但在如计算图像中物品数量、预测图片中物品的位置距离等更抽象、复杂的任务上,“zero-shot”CLIP表现仅略胜于随机分类,而在区分汽车模型、飞机型号或者花卉种类时,CLIP也不好。

且对于预训练阶段没有出现过的图像,CLIP泛化能力也很差。例如,尽管CLIP学习了OCR,但评估MNIST数据集的手写数字上,“zero-shot”CLIP准确率只达到了88%,远低于人类在数据集中的99.75%精确度。最后,研究人员发现,CLIP的“zero-shot”分类器对单词构造或短语构造比较敏感,但有时还是需要试验和错误“提示引擎”的辅助,才能表现良好。

研究人员也在博客中提到,CLIP更大的潜力是允许人们设计自己的分类,无需使用特定任务的训练数据。因为分类的定义方法会影响模型的性能和偏差。

如果CLIP中添加的标签包括Fairface种族标签(FairFace是一个涵盖不同人种、性别的面部图像数据集)和少数负面名词,例如“犯罪”,“动物”等,那么很可能大约32.3%年龄为0至20岁的人像会被划分到负面类别中,但在添加“儿童”这一标签后,负面类别的比例大约下降到8.7%。

此外,由于CLIP不需要针对特定任务训练数据,所以能够更轻松地完成一些任务。但这些任务会不会涉及到特定的隐私和监视风险,需要进一步的研究。

结语:模型很厉害,监管需谨慎

无论是DALL?E还是CLIP,都采用不同的方法在多模态学习领域跨出了令人惊喜的一步。

但OpenAI的研究人员也反复强调,越强大的模型一旦失控,后果也越加可怕,所以两个模型后续的关于“公平性”、“隐私性”等问题研究也会继续进行。

今后,文本和图像的界限是否会进一步被打破,我们能否能顺畅地用文字“控制”图像的分类和生成,在现实生活中将会带来怎样的改变,都值得我们期待。

来源:OpenAI