Real-CUGAN，B站推出的图像视频AI超分算法模型（AI放大）

随着科学技术的不断发展尤其是人工智能、云计算、机器学习等技术在图像视频领域大展身手，图像智能化处理变得越来越普及化，各种基于AI云计算、机器学习的应用层出不穷，例如国外的Topaz产品，基于AI算法可对图像、视频进行智能化降噪、锐化、放大，以进一步对老旧图像视频就行画质修复，使之重焕光彩。

除了像Topaz商业应用外，近些年开源免费的超分算法模型也屡见不鲜，例如之前阿刚给大家推荐过的Waifu2x，它是目前最火爆的图像超分算法之一。

最近，B站开发了一个专门针对二次元图像的Real-CUGAN算法模型，效果惊艳！

Real-CUGAN，B站推出的二次元图像AI超分算法模型

Real-CUGAN是一个使用百万级动漫数据进行训练的，结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持2x\3x\4x倍超分辨率，其中2倍模型支持4种降噪强度与保守修复，3倍/4倍模型支持2种降噪强度与保守修复。

什么是超分技术

先简单说下超分技术，通俗的理解，就是将图像/视频的分辨率放大，它是一种底层图像处理任务，将低分辨率的图像映射至高分辨率，以此达到增强图像细节的作用。

超分辨率重建的方法有多种，目前的主流是基于机器深度学习，即先将高分辨率图像按照降质模型进行降质，产生训练模型，根据高分辨率图像的低频部分和高频部分对应关系对图像分块，通过一定算法进行学习，获得先验知识，建立模型，最后即可应用，实现低质图像进行高清化处理。

Real-CUGAN全称Real Cascade U-Nets for Anime Image Super Resolution，其模型结构魔改自Waifu2x官方CUNe，训练代码主要参考腾讯发布的RealESRGAN。

主要优势：

• 百万训练集：Real-CUGAN的高清私有训练集块数量高达百万级，Waifu2x与Real-ESRGAN均为私有库，量级与质量未知
• 优秀的细节效果：更锐利的线条，更好的纹理保留，虚化区域保留
• 良好的兼容性：同Waifu2x结构相同，但参数不同，与Waifu2x无缝兼容
• 可调节强度：目前有4种降噪程度版本和保守版，后续将支持调节不同去模糊、去JPEG伪影、锐化、降噪强度
• 速度：Real-CUGAN、Waifu2x均约为Real-ESRGAN的2.2倍速度；约为通用型Real-ESRGAN模型的8.4倍速度。

官方针对纹理、线条、“渣清”以及景深四种图片特点，分别使用Waifu2x、腾讯的RealESRGAN进行处理，制作了一组最终的效果对比图，阿刚这里选了纹理和渣清对比最明显的两组图，大家可以放大看原图直观比较下：

（纹理）

在这种对比图中，地板纹理Real-CUGAN和Waiuf2x的处理效果大差不差，Waifu2x只有降噪，并未对线条做优化，而且它的锐利度也是最小的，两者的区别很小，腾讯的RealESRGAN纹理保留性最差，较为模糊、细节有所丢失，表现较弱。

综合比较的话，Real-CUGAN处理的最好

（渣图对比）

没有什么比一张渣渣图片更让人一目了然了，原图是腾讯Real-ESRGAN的官方测试样例，在对比图中Real-CUGAN明显要优于Waiuf2x、RealESRGAN，画面清晰、更干净。

如何使用

Real-CUGAN的开发团队目前为Windows平台打包了一个可执行环境，在下载解压后，运行go.bat运行即可，另外在处理之前，还需修改config.py配置参数，在项目主页上，官方有专门详细说明各项参数，大家可自行参阅。

由于主要是命令行界面，有一定的上手难度，对于我们而言，最简单的当然还是使用GUI界面，方便快捷。目前Squirrel补帧团队基于RealCUGAN(PyTorch版本)与Waifu2x/RealESRGAN开发了一个图形界面程序，已经免费发布了，用起来非常顺手，阿刚下面简单说下。

Squirrel Anime Enhance，基于多个开源超分算法的中文超分软件

Squirrel Anime Enhance是著名“补帧团队”Squirrel开发一款的基于多个开源超分算法的超分软件，目前主要包括realCUGAN, realESR, waifu2x知名算法，它提供了简单易用的GUI界面，让你快速上手，轻松处理图片、视频。

主要特性：

• 集成了 realCUGAN, realESR, waifu2x 三种超分算法
• 拥有友好的 GUI 图形界面，方便使用
• 使用pipe传输视频帧，无需拆帧到本地，拯救硬盘
• 更小的显存、内存占用，更快的速度
• 拥有预览界面，能更好地了解超分情况

Squirrel Anime Enhance使用简单，解压后，双击启动SAE.bat即可启动软件。

1，输入图片/视频

在Squirrel Anime Enhance中，你可以导入要处理的视频与图片序列，但不支持单张图片。

如果导入的是图片序列，务必要保证文件命名规范（等长），例如input 0001.png, input 0002.png, …另外不支持交错或带有透明通道的图片

2，设置超分算法与模型

如前面所述，目前主要集成了realCUGAN, realESR,和waifu2x三种超分算法，每一种超分算法下都有相对应的超分模型，大家可以针对视频特征自行选择，简单说下：

waifu2x:

• models cunet：一般用于动漫超分
• models photo：一般用于实拍
• models style anime：一般用于老动漫

realESR:

realESR提供了两类模型，其中：

• realESRGAN模型：效果清晰，偏向于脑补;
• realESRNet模型：效果模糊，偏向于涂抹
• 2x和4x模型速度差异并不是特别明显，但建议使用与输出分辨率最邻近的倍率模型，例如输入为270p,输出为1080p.建议使用4x模型;输入为270p,输出为540p,建议使用2x模型

realCUGAN,

realCUGAN目前3倍4倍超分只有3个模型，2倍有4个不同降噪强度模型和1个保守模型，其中：

• 降噪版（Denoise）：主要针对原片噪声多；
• 无降噪版（No-Denoise）：如果原片噪声不多，压得还行，但是想提高分辨率/清晰度/做通用性的增强、修复处理，推荐使用；
• 保守版（conservative）：如果担心丢失纹理，担心画风被改变，颜色被增强，总之就是各种担心AI会留下浓重的处理痕迹，推荐使用该版本。

在选择好合适的算法与模型后，便可以一键压制。阿刚用了一小段海贼王的，放至两倍，细节保留得当，最后的效果相当棒，

写在最后

开源的超分算法中，waifu2x功能强大，大家肯定耳熟能详了，腾讯推出的realESR实力也不容小觑，两者在动漫超分的效果上着实让人感到惊艳。

而B站这个开源的动漫超分模型，在速度、修复效果、处理痕迹上，表现更优秀，官方目前还在不断优化之中，如果你是个动漫爱好者，或者有放大视频的需要，可以试试B站realCUGAN，效果相当惊艳~

当然前提，你首先要有一台配置够强劲的电脑~