在图像生成领域，深度学习模型正以前所未有的速度发展，为计算机视觉和自然语言处理提供了许多创新解决方案。
GPT-4o基于自回归模型主干的图像生成架构最近很热门，可以生成各种“吉卜力风格”的图案，而且效果很好。
但是我们传统流行的图像生成模型是扩散模型，和自回归模型有很大不同。

自回归模型和扩散模型

自回归模型（Autoregressive Models） 是一类利用当前已知信息来预测下一个数据点概率分布的模型。在图像生成中，自回归模型的核心思想是根据一部分已生成的图像数据逐步构建整个图像。这种逐步生成的过程通常通过条件概率建模实现，即模型通过对图像像素（或图像的某些特征，如颜色或纹理）进行逐步预测，直到完整图像生成。

自回归模型的优势在于，它能够非常细粒度地建模每一个像素之间的依赖关系，从而使生成的图像细节丰富且精细。在GPT-4o中，自回归生成流程通过条件生成（Conditional Generation） 完成，也就是说，每一个新生成的像素或像素块都基于之前生成的部分信息来决定。

扩散模型（Diffusion Models） 是近年来兴起的一类图像生成模型，它通过模拟数据的逐步噪声添加和去噪过程来生成图像。与自回归模型的逐步生成过程不同，扩散模型通过一个反向扩散过程生成图像，该过程从一个纯噪声图像开始，逐步去除噪声，最终恢复出原始图像。

扩散模型通常包含两个阶段：前向过程（Forward Process） 和 反向过程（Reverse Process）。前向过程将数据逐步加入噪声，直到图像变成纯噪声；而反向过程则是从纯噪声图像开始，逐步去噪，直到恢复出原始数据。

GPT-4o的图像生成

各种信息推测GPT-4o 使用自回归骨架与扩散解码器相结合来生成图像。其核心思想是序列化和建模图像的每个像素 。

它的工作原理可能是这样的：GPT-4o 首先将图像转换为连续序列。然后，它使用自回归方法，在生成的文本描述或其他提示的指导下生成图像。这种方法允许通过按顺序逐个像素地对图像进行建模来精确控制图像生成过程。

我们可以将图像视为一系列的“token”，每个token代表图像中的一个小块或像素。通过训练学习如何在给定一部分图像的基础上预测下一个token，最终生成整个图像。下面是一个简化的实现流程：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import torch
import torch.nn as nn
from transformers import GPT2LMHeadModel, GPT2Tokenizer

# 使用预训练的GPT模型（示例使用GPT-2）
model = GPT2LMHeadModel.from_pretrained("gpt2")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")

# 假设输入图像已经被转换为一系列token
# 实际应用中，这通常涉及图像编码器
def image_to_tokens(image_data):
    # 这是一个示意函数，实际转换会更复杂
    # 例如，将图像分块，然后将每个块编码为token
    return [i % 50000 for i in range(100)] # 示例tokens

def tokens_to_image(token_ids):
    # 这是一个示意函数，将token转换回图像
    # 例如，解码token并重构图像
    return f"Generated image from tokens: {token_ids[:10]}..."

# 示例图像数据
dummy_image_data = "some image data"

image_tokens = tokenizer.encode(str(image_to_tokens(dummy_image_data)))

# 自回归生成过程
# GPT-2的generate方法是文本生成，这里是概念性的表示
input_ids = torch.tensor([image_tokens])
generated_image_tokens_tensor = model.generate(input_ids, max_length=1024, pad_token_id=tokenizer.eos_token_id)

# 将生成的tokens转换回图像
generated_image = tokens_to_image(generated_image_tokens_tensor[0].tolist())## 4. 概述


---

print(f"生成的图像预览: {generated_image}")

上述伪代码通过将图像转换为一系列tokens，再使用类似GPT-2的模型进行自回归生成。这个过程利用了模型从大规模数据集学习到的模式，在生成图像时也能反映出一定的图像结构规律。

生成过程

自回归模型的生成过程是逐步进行的，每次生成一个新的像素或像素块，都基于前面已生成的信息。而扩散模型的生成过程则是从噪声开始，通过多个步骤逐渐去噪。自回归模型依赖于图像的像素间依赖关系，而扩散模型则通过去噪过程来逐步恢复图像。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
import torch
import torch.nn as nn
from torch import optim

# 扩散模型概念示例
class DiffusionModel(nn.Module):
    def __init__(self, timesteps=1000):
        super().__init__()
        self.timesteps = timesteps
        # 这里省略了扩散过程中的网络结构，通常是U-Net
        self.denoiser = nn.Sequential(
            nn.Linear(10, 100),
            nn.ReLU(),
            nn.Linear(100, 10)
        ) # 仅为示意

    def denoise(self, noisy_data, t):
        # 实际去噪函数会更复杂，t通常会作为条件输入
        return self.denoiser(noisy_data)

    def forward(self, noise):
        # 扩散模型的反向去噪过程（生成过程）
        current_data = noise
        for t in reversed(range(self.timesteps)): # 从高噪声步数到低噪声步数
            # 这里的去噪操作会根据时间步t和当前噪声进行
            current_data = self.denoise(current_data, t)
        return current_data

# 示例扩散模型使用
# model = DiffusionModel()
# pure_noise = torch.randn(1, 10) # 假设从纯噪声开始
# generated_image_data = model(pure_noise)
# print(f"扩散模型生成的图像数据（概念性）: {generated_image_data}")

在扩散模型中，生成的过程通常是通过反向扩散过程实现的，即从噪声逐渐恢复图像。与自回归模型的逐像素生成相比，扩散模型的每一步生成往往依赖于整个图像的上下文，而不是局部的像素信息。

生成质量与效率等对比

网上提供的自回归模型在图像生成中的优势主要体现在以下几个方面：

  • 高质量的细节：由于自回归模型能够逐步生成每个像素，它能精细地捕捉到像素之间的依赖关系，从而生成高质量的图像。
  • 易于控制生成过程：在自回归模型中，我们可以通过控制生成的部分来影响最终结果。例如，可以通过改变生成的初始条件（如噪声或种子），从而控制图像的整体风格或内容。
  • 多样性与创造性：自回归模型的生成过程具有高度的多样性，可以生成许多不同风格和内容的图像。

然后它存在的限制是在生成长序列时的效率问题

个人感觉扩散模型在生成图像时，能产生更高质量的图像，技术比较成熟，在细节处理和图像结构上应该表现更优。但是扩散模型步骤多，计算成本较高，速度相对较慢，不过灵活性和控制性应该较自回归模型强；
自回归模型则在生成过更为高效，尽管在生成长序列时可能面临细节损失的问题，而且一般直接用GPT-4o也比sd调提示词和参数方便一点，就是结果不一定准确而且次数较少。

许可协议

本文采用 署名-非商业性使用-相同方式共享 4.0 国际 许可协议，转载请注明出处。

快来参与讨论吧~