在 OpenAI 于 2024 年 5 月发布首个"全能"多模态模型 GPT-4o 即将一周年之际，这款经典模型又带来了新的惊喜。
今天，OpenAI 终于为 ChatGPT 的 Plus、Pro、Team 和免费用户开放了 GPT-4o 的原生多模态图像生成功能。公司表示，该功能很快也将面向企业版、教育版用户开放，并通过 API 提供服务。
与 ChatGPT 此前使用的生成式 AI 图像模型（OpenAI 的 DALL-E 3，一个通过去除像素噪声从文本提示重建图像的经典扩散 Transformer 模型）不同，这个新的图像生成器是输出文本和代码的同一模型的一部分，因为 OpenAI 训练整个模型同时理解所有这些媒体形式。
OpenAI 总裁 Greg Brockman 早在 2024 年 5 月就预览过 GPT-4o 的这种原生功能，但出于目前尚未公开的原因，公司一直将其保留到现在才发布——这是在 Google AI Studio 发布了被许多 AI 高级用户认为类似的 Gemini 2 Flash 实验模型功能之后。
这带来了质量更高的图像生成器，可以生成更逼真的图像和更准确的嵌入文本，已经给用户留下了深刻印象——有用户称其质量"令人疯狂"。
同样值得注意的是，OpenAI 仍然没有明确说明 GPT-4o 的图像生成功能是用什么数据训练的——考虑到该公司和其他模型提供商的历史，很可能包含了从网络上抓取的许多艺术作品，其中一些可能受版权保护，这很可能会激怒这些作品背后的艺术家。
将图像生成引入 ChatGPT 和 Sora
OpenAI 一直致力于将图像生成作为其 AI 模型的核心功能。通过 GPT-4o，用户现在可以直接在 ChatGPT 中生成图像，通过对话进行完善，并即时调整细节。
该模型还集成到了 OpenAI 的视频生成平台 Sora 中，进一步扩展了多模态功能。
在 X 平台的公告中，OpenAI 确认 GPT-4o 的图像生成旨在： - 准确渲染图像中的文本，可以创建标志、菜单、邀请函和信息图表 - 精确执行复杂提示，即使在详细构图中也能保持高保真度 - 基于先前的图像和文本构建，确保多次交互中的视觉一致性 - 支持各种艺术风格，从照片写实到风格化插图
用户可以在 ChatGPT 中描述一个图像，指定诸如宽高比、配色方案 (十六进制代码) 或透明度等细节，GPT-4o 将在一分钟内生成它。
正如独立 AI 顾问 Allie K. Miller 在 X 上所写，这是"文本生成的巨大飞跃"，是她见过的"最好的" AI 图像生成模型。
主要功能和用例
GPT-4o 的设计不仅注重视觉效果，还确保实用性。主要应用包括： - 设计与品牌 – 生成带有精确文本布局的标志、海报和广告 - 教育与可视化 – 创建科学图表、信息图表和历史图像用于学习 - 游戏开发 – 在不同设计迭代中保持角色一致性 - 营销与内容创作 – 根据品牌需求制作社交媒体素材、活动邀请函和数字插图
GPT-4o 如何改进 DALL-E 的生成图像
根据 OpenAI 在 X 上的官方帖子，GPT-4o 相比之前的模型有以下几项改进：
更好的文本集成： - 与过去在可读性和文本布局方面存在困难的 AI 模型不同，GPT-4o 现在可以准确地在图像中嵌入文字
增强的上下文理解： - GPT-4o 利用聊天历史，允许用户交互式地完善图像，并在多次生成中保持连贯性
改进的多对象绑定： - 虽然之前的模型在正确定位场景中的多个不同对象时存在困难，但 GPT-4o 现在可以同时处理 10-20 个对象
多样化的风格适应： - 该模型可以生成或转换图像为各种风格，从手绘草图到高分辨率照片写实风格
局限性
尽管取得了进展，GPT-4o 仍然存在一些已知挑战：
裁剪问题： - 大尺寸图像（如海报）有时可能裁剪过紧
非拉丁文字的准确性： - 某些非英语字符可能无法正确渲染
小文本的细节保留： - 高度详细或小字体的文本可能会失去清晰度
编辑精确度： - 修改图像的特定部分可能会无意中影响其他元素
OpenAI 正在通过持续的模型改进来解决这些问题。
安全和标签措施
作为 OpenAI 负责任 AI 开发承诺的一部分，所有 GPT-4o 生成的图像都包含 C2PA 元数据，允许用户验证其 AI 来源。
此外，OpenAI 还建立了内部搜索工具来帮助检测 AI 生成的图像。
系统设有严格的保护措施来阻止有害内容和防止滥用，比如禁止生成露骨、欺骗性或有害的图像。
OpenAI 还确保对包含真实人物的图像施加更严格的限制。
OpenAI CEO Sam Altman 将此次发布描述为"创作自由的新高度"，强调用户将能够创建广泛的视觉内容，同时 OpenAI 将基于实际使用情况观察和完善其方法。
随着 AI 生成图像变得更加精确和易于使用，GPT-4o 代表着将文本转图像生成技术转变为主流通信、创意和生产力工具的重要一步。
