前言

在NeurIPS 2022上，南洋理工大学-商汤科技联合研究中心S-Lab提出了一种基于VQGAN+Transformer的人脸复原模型CodeFormer，效果是真的强大。

它专门用于人脸复原任务。这项技术能够在输入信息严重缺失的情况下，复原出与目标人脸非常接近的自然人脸图像。CodeFormer 利用深度学习技术，特别是人脸复原模型，来修复和增强面部图像，包括去除图像中的噪声、马赛克和其他损坏区域，同时恢复和增强原始图像的细节和色彩。此外，它还能处理视频中的各种问题，如模糊、抖动、颜色失真等，从而提供更清晰、更稳定的视频观看体验。

下图为 CodeFormer 的整体架构图。

network.jpg

CodeFormer 的工作原理主要包括三个步骤：首先，通过自动编码器实现人脸的变换；其次，采用预训练 VQGAN 离散码本空间的方法，将人脸复原任务转成 Code 序列的预测任务；最后，通过 Transformer 全局建模，增加了模型对严重退化的鲁棒性。

论文：《Towards Robust Blind Face Restoration with Codebook Lookup TransFormer 》

CodeFormer ® – 中文网官网-专业AI图片修复软件

官方效果展示

Face Restoration

image-20240503212730527

Face Color Enhancement and Restoration

image-20240503212750812

Face Inpainting

image-20240503212805709

使用方法

方法一：本地部署

第一种方法可以直接上 Github1 按照 README 文档配置环境，加载模型权重推理。

具体可以参考零度大佬的B站教程2和油管教程3即可。

方法二：Web端访问

第二种方法可以通过 Web4端直接访问，作者已将该模型打包至 huggingface 平台上，有兴趣的读者可以注册个账号直接在线上使用。

image-20240503213427522

方法三：桌面GUI版

第三种方法可以通过被打包好的桌面GUI版5可视化界面直接在本地运行，无惧隐私泄漏，无须安装和配置编译环境，一键运行。

image-20240503220801507

目前最新版为v20240114版，支持了40系显卡。

下载地址：

下载解压安装包后，直接点击 启动程序.bat 运行，其余功能看界面说明即可。

References

Footnotes

  1. https://github.com/sczhou/CodeFormer?tab=readme-ov-file ↩

  2. https://www.bilibili.com/video/BV1Jd4y1L7w6/?spm_id_from=333.337.search-card.all.click&vd_source=7bff20db0211932c8f96b4f2babd670c ↩

  3. https://www.youtube.com/watch?v=iSBqyVWTqhU&ab_channel=%E9%9B%B6%E5%BA%A6%E8%A7%A3%E8%AF%B4 ↩

  4. CodeFormer - a Hugging Face Space by sczhou ↩

  5. https://github.com/Arthurzhangsheng/CodeFormer_GUI ↩