港理工联合 OPPO 研究院开源 PixRestore，告别过度美颜，真实图像复原新选择。

图像修复模型越做越大，细节却越修越糊？港理工&OPPO研究院提出PixRestore，50M参数、单步推理44ms，在像素空间直接搞定8种退化修复。

图像修复（Image Restoration）领域迎来一位“轻量级全能选手”。香港理工大学视觉计算实验室（VCLab）与OPPO研究院联合推出PixRestore——一个无需VAE的像素空间扩散Transformer（DiT），专门解决统一图像修复（UIR）任务。

当前主流方法大多依赖预训练的文本生成图像（T2I）潜在扩散模型，但VAE的压缩过程会丢弃对修复至关重要的细节信息，而开放式的生成先验又可能引入与内容不一致的伪影。PixRestore另辟蹊径，直接在分块像素上执行流匹配（flow matching），从零训练扩散主干，彻底摆脱对T2I预训练的依赖。

更令人惊喜的是，PixRestore仅约5000万参数，单步推理仅需约44毫秒，在保真度、感知质量和退化鲁棒性上全面超越同类竞品。团队已将代码和模型权重全面开源，为图像修复的端侧部署与学术研究提供了全新范本。

相关链接

• 论文：https://arxiv.org/pdf/2608.16793
• 主页：https://csslc.github.io/pixrestore-page
• 代码：https://github.com/csslc/PixRestore
• 模型：https://huggingface.co/VCLab-PolyU/PixRestore

内容介绍

统一图像修复（Unified Image Restoration, UIR） 的目标是用单一模型处理多种退化类型的图像恢复任务，包括去噪、去模糊、去雨、去雾、低光增强、JPEG去块等。传统做法是为每种退化训练专用模型，而UIR追求“一网打尽”。

然而，现有UIR方法多基于预训练的T2I潜在扩散模型，存在两大根本缺陷：

VAE信息丢失：潜在空间的变分自编码器会将图像压缩到低维隐空间，这个过程不可避免地丢弃了对修复至关重要的高频细节；

生成先验不匹配：T2I模型的开放生成先验是为“文本到图像”设计的，用于修复时可能引入与原图内容不一致的伪影。

PixRestore正是为解决这两大痛点而生。

方法概述

PixRestore的技术方案可概括为三大核心创新：

1. 无VAE的像素空间DiT

PixRestore彻底抛弃VAE，将扩散Transformer（DiT）直接部署在RGB像素空间。模型将图像分块（patchify）后直接在像素token上执行条件流匹配（conditional flow matching），完整保留了原始图像的细粒度细节，同时通过分块策略保证了token序列的可控长度。

2. 自适应层路由与分层特征融合

为了自适应不同退化类型，PixRestore利用LQ-HQ DINO特征相似度来预测每个网络层的“可靠性”权重。具体而言：使用视觉编码器从低质量（LQ）图像中提取多层密集特征；自适应层路由器预测每层特征的权重,这些权重将各层特征融合为统一的表征，通过交叉注意力注入DiT模块； 可靠性低的层会接受更强的HQ特征监督，以强制去除退化。这种设计让模型根据退化程度动态调整特征融合策略，而非“一刀切”。

3. DINO对抗训练实现单步生成

扩散模型通常需要多步迭代推理，耗时较长。PixRestore在训练完多步模型后，进一步基于DINO的对抗目标微调为单步生成器。这使得推理时仅需1步即可完成修复，大幅提升了实用性。

实验

全参考评价指标需要真实图像作为基准，而常见的无参考质量评价指标可能会奖励纹理丰富的图像，即使这些纹理来源于伪影或残留退化。DR-Score 作为一种辅助诊断指标，直接向视觉语言模型询问目标退化是否已被消除。给定 LQ 输入、恢复结果和任务描述，评估者会给出 0 到 100 的分数并提供简要说明；每张图像评估五次，并报告平均分，以便进行更稳定的方法级比较。

公开基准比较

下表比较了八项公开任务上具有代表性的统一图像修复方法，评估指标包括保真度、感知度和图像退化消除率。标有 * 的方法使用与 PixRestore 相同的训练数据集进行重新训练；最佳和次佳结果分别以红色和蓝色突出显示。

泛化到真实世界测试集

真实世界的测试图像在没有配对真实值的情况下进行评估，并且包含超出域范围的退化模式。在除雪、去雾、去模糊、去除雨滴、弱光增强和雨痕去除等方面，PixRestore 相比其他统一的修复方法，能够生成更均衡的修复结果，具有更清晰的结构、更自然的色彩和更少的残留伪影。

模型复杂度比较

在相同的 512 × 512 输入和硬件设置下，PixRestore 使用一次函数评估，5370 万个参数，658G FLOPs 运算，每幅图像仅需 44 毫秒。它比 PromptIR、DiffUIR、FoundIR 和 FAPE-IR 快约 7 到 23 倍，而 PixRestore-B 仍然保持紧凑，参数量为 2.1089 亿，延迟为 79 毫秒。

可扩展性

PixRestore 在两个维度上平滑扩展：减小像素块大小可以保留更多局部证据，而增大 DiT 主干尺寸则可以增强全局建模。在所有评估的配置中，LPIPS 均随着计算量的增加而持续降低，相关性为 -0.96，这表明增加模型容量和更精细的像素标记化可以带来可预测的质量提升。

结论

PixRestore 由港理工 VCLab 联合 OPPO 研究院推出，瞄准老照片修复领域最头疼的过度重绘问题，将图像保真作为核心优化方向，给图像复原领域提供了一条很有价值的实现思路。

对于个人爱好者，可以下载权重做自家老照片修复测试；算法研究者可以参考其保真约束思路，用于图像复原相关课题。 但一定要留意授权风险，仓库缺少正式 LICENSE 文件，README 声明不等同法律许可，商业使用必须联系作者确认。

老照片修复不只有 “变好看” 这一条路线，保留真实样貌同样非常重要，感兴趣可以前往项目主页查看示例效果。