DiffBIR-新一代超分技术,免费开源的照片修复工具
前言
当提到人工智能照片修复时,你或许会联想到像SD这样的生成式模型。但是,仅靠生成模型并不总能够提供理想的结果,因为这些模型有时会过度发挥其”想象力”,产生的图像可能与原始照片相去甚远。
今天我们要介绍的AI照片修复模型则有效地克服了这一挑战。该模型不仅能够清除噪点和模糊,恢复老照片中的细节,让它们变得生动和丰富,而且确保修复后的图像忠于原照片的内容,这一创新性的修复算法模型,名为DiffBIR。
简介
DiffBIR是由清华大学和上海人工智能实验室联合研发的创新技术。该技术结合了双阶段网络架构,首阶段利用模型如SwinIR之类的高效算法,专注于消除图像中因编码失真和JPEG压缩引起的各类低级退化问题。
第二阶段,引入类似于Stable Diffusion这样的预训练模型作为图像先验知识,以指导系统渲染出高品质的视觉输出。DiffBIR的关键特性包括:
-
整合端到端网络设计,能够全面恢复图像中受损的高频和低频细节。 -
利用高效的生成模型作为先验,实现盲复原,消除了依赖对高质量图像的限制。 -
具备优化的算法,显著改善了人像及常规场景图像的复原效果,超越了传统技术的表现。 -
模型设计轻量且高效,适合部署到多种设备,满足实际操作的需求。 -
提供用户友好的命令行接口和Web演示,使得用户能够轻松体验到先进的图像恢复功能。 -
完全开源的模型与代码,支持用户进行个性化的训练和二次开发。
DiffBIR开辟了图像盲复原的新路径,既保证了出色的恢复效果,又免去了寻找高质量参照图像的工作。它的应用范围广泛,适合用于旧照片修复、摄像头图像增强等多个领域。
下面介绍这个开源项目的使用方式。
项目下载
首先先将源码下载下来,下面是具体的 git 命令:
git clone https://github.com/XPixelGroup/DiffBIR.git
cd DiffBIR
# 创建虚拟环境
conda create -n diffbir python=3.9
# 激活虚拟环境
conda activate diffbir
# 安装相关依赖
pip install -r requirements.txt
如果你是 Windows 的电脑,在安装依赖之前,因为里面有一个依赖包是不支持 Windows 系统的,所以需要额外先执行如下命令:
pip install https://huggingface.co/r4ziel/xformers_pre_built/resolve/main/triton-2.0.0-cp310-cp310-win_amd64.whl
# 升级pip 然后安装 triton
pip install triton
源码下载好了,在环境安装完成之后,在跑起来之前还需要先下载模型。
在项目目录下,手动创建 weights
目录,用来存放使用到的模型,下载下面的两个模型放在目录下。general_full_v1.ckptgeneral_swinir_v1.ckpt接下来执行下面的脚本,就可以在本地启用服务了,
python gradio_diffbir.py <br />–ckpt weights/general_full_v1.ckpt <br />–config configs/model/cldm.yaml <br />–reload_swinir <br />–swinir_ckpt weights/general_swinir_v1.ckpt <br />–device cuda
在浏览器中打开 http://localhost:7860/
选择你想要修复的图片,然后根据需要调整配置,就可以用来修复图片啦。
在线体验
如果你不想自己安装环境就想先体验一下,可以访问下面的链接,当网站的访问人数较多时,有可能会出现计算资源不足的情况,这个时候就等等再试就行。https://openxlab.org.cn/apps/detail/linxinqi/DiffBIR-official
下面是这个网页的体验效果,可以看到,修复的效果真的很惊艳。