机器之心报道
机器之心编辑部
集成ChatGPT后，DALL?E3对上下文的理解上了一个大台阶。
终于，OpenAI的文生图AI工具DALL-E系列迎来了最新版本DALL?E3，而上个版本DALL?E2还是在去年4月推出的。
OpenAI表示，「DALL?E3比以往系统更能理解细微差别和细节，让用户更加轻松地将自己的想法转化为非常准确的图像。」
是不是真如OpenAI所说的那样呢？眼见为实，我们来看以下DALL?E3与DALL?E2的生成效果比较，同样的prompt「一幅描绘篮球运动员扣篮的油画，并伴以爆炸的星云」，左图DALL?E2在细节、清晰度、明亮度等方面显然逊于右图DALL?E3。
除了炸裂的生图效果之外，此次DALL?E3的最大特点是与ChatGPT的集成，它原生构建在ChatGPT之上，用ChatGPT来创建、拓展和优化prompt。这样一来，用户无需在prompt上花费太多时间。
具体来讲，通过使用ChatGPT，用户不必绞尽脑汁地想出详细的prompt来引导DALL?E3了。当输入一个想法时，ChatGPT会自动为DALL?E3生成量身定制的、详细的prompt。同时用户也可以使用自己的prompt。
至于集成ChatGPT后的效果怎么样？OpenAICEO山姆?奥特曼兴奋地展示了DALL?E3的连续性生成结果，简直称得上完整的「故事片」。
超级向日葵刺猬长什么样子
这只刺猬叫「Larry」以及它的更多同类。
Larry的家长这样。
Larry很善良。
Larry最后安然入眠了。
ChatGPT集成并不是DALL?E3唯一的新特点，它还能生成更高质量的图像，更准确地反映提示内容。DALL?E将文本prompt转换成图像。即使是DALL?E2，也会经常忽略特定的措辞导致出错。但OpenAI的研究人员说，最新版本能更好地理解上下文，并且处理较长的prompt效果会更好。此外，它还能更好地处理向来困扰图像生成模型的内容，如文本和人手。
prompt：这幅插画描绘了一颗由半透明玻璃制成的人心，矗立在惊涛骇浪中的基座上。一缕阳光穿透云层，照亮了心脏，揭示了其中的小宇宙。地平线上镌刻着一行醒目的大字「Findtheuniversewithinyou」。
可以看到在上图将prompt中的每一个细节都表现出来了。半透明的质感、画面底部的波涛汹涌、阳光与厚厚的云层、心脏中的宇宙景象，以及难倒很多图像生成模型的文字展现，DALL?E3都顺利地完成了这些任务。
那么，DALL?E3能不能成为Midjourney「杀手」呢？推特用户
MattGarciaEth已经将二者生成的图片进行了很多比较。大家觉得哪个更好呢？prompt为「一个鳄梨坐在治疗师的椅子上，说『我只是觉得内心很空虚』，中间有一个坑大小的洞。治疗师、一个勺子、潦草地写笔记。」
prompt为「这幅插画描绘了一颗由半透明玻璃制成的人心，矗立在惊涛骇浪中的基座上。一缕阳光穿透云层，照亮了心脏，揭示了其中的小宇宙。地平线上镌刻着一行醒目的大字『Findtheuniversewithinyou』」
prompt为「一位亚裔中年妇女的黑发上散落着银丝，显得支离破碎，错综复杂地镶嵌在一片碎瓷片中。瓷器上闪烁着飞溅的颜料图案，光泽和哑光的蓝色、绿色、橙色和红色和谐地交织在一起，在动与静的超现实并置中捕捉着她的舞姿。她的肤色与瓷器一样呈浅色，为她的造型增添了一种神秘的气质。」（推特
nickfloats，上图为DALL?E3的生成结果，下图为Midjourney的生成结果）目前，DALL?E3处于研究预览版本。OpenAI计划将DALL?E3的发布时间错开，将于10月份首先向ChatGPTPlus和ChatGPTEnterprise用户发布，随后在秋季向研究实验室及其API服务发布。不过，该公司没有透露何时或者是否计划发布免费的公开版本。
DALL?E系列研究
我们简单为大家梳理介绍下OpenAI文本生成图像的DALL?E系列研究，也方便读者们了DALL?E系列背后的技术。
年1月6日，OpenAI博客发布了两个连接文本与图像的神经网络：DALL?E和CLIP。DALL?E可以基于文本直接生成图像，CLIP则能够完成图像与文本类别的匹配。这两项研究的发布，引起了社区极大的
