Real-CUGAN,B站推出的图像视频AI超分算法模型(AI放大)

随着科学技术的不断发展尤其是人工智能、云计算、机器学习等技术在图像视频领域大展身手,图像智能化处理变得越来越普及化,各种基于AI云计算、机器学习的应用层出不穷,例如国外的Topaz产品,基于AI算法可对图像、视频进行智能化降噪、锐化、放大,以进一步对老旧图像视频就行画质修复,使之重焕光彩。

除了像Topaz商业应用外,近些年开源免费的超分算法模型也屡见不鲜,例如之前阿刚给大家推荐过的Waifu2x,它是目前最火爆的图像超分算法之一。

最近,B站开发了一个专门针对二次元图像的Real-CUGAN算法模型,效果惊艳!

Real-CUGAN,B站推出的二次元图像AI超分算法模型

Real-CUGAN是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持2x\3x\4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。

什么是超分技术

先简单说下超分技术,通俗的理解,就是将图像/视频的分辨率放大,它是一种底层图像处理任务,将低分辨率的图像映射至高分辨率,以此达到增强图像细节的作用。

超分辨率重建的方法有多种,目前的主流是基于机器深度学习,即先将高分辨率图像按照降质模型进行降质,产生训练模型,根据高分辨率图像的低频部分和高频部分对应关系对图像分块,通过一定算法进行学习,获得先验知识,建立模型,最后即可应用,实现低质图像进行高清化处理。

Real-CUGAN

Real-CUGAN全称Real Cascade U-Nets for Anime Image Super Resolution,其模型结构魔改自Waifu2x官方CUNe,训练代码主要参考腾讯发布的RealESRGAN。

主要优势:

  • 百万训练集:Real-CUGAN的高清私有训练集块数量高达百万级,Waifu2x与Real-ESRGAN均为私有库,量级与质量未知
  • 优秀的细节效果:更锐利的线条,更好的纹理保留,虚化区域保留
  • 良好的兼容性:同Waifu2x结构相同,但参数不同,与Waifu2x无缝兼容
  • 可调节强度:目前有4种降噪程度版本和保守版,后续将支持调节不同去模糊、去JPEG伪影、锐化、降噪强度
  • 速度:Real-CUGAN、Waifu2x均约为Real-ESRGAN的2.2倍速度;约为通用型Real-ESRGAN模型的8.4倍速度。

官方针对纹理、线条、“渣清”以及景深四种图片特点,分别使用Waifu2x、腾讯的RealESRGAN进行处理,制作了一组最终的效果对比图,阿刚这里选了纹理和渣清对比最明显的两组图,大家可以放大看原图直观比较下:

Real-CUGAN对比图

(纹理)

在这种对比图中,地板纹理Real-CUGAN和Waiuf2x的处理效果大差不差,Waifu2x只有降噪,并未对线条做优化,而且它的锐利度也是最小的,两者的区别很小,腾讯的RealESRGAN纹理保留性最差,较为模糊、细节有所丢失,表现较弱。

综合比较的话,Real-CUGAN处理的最好

Real-CUGAN

(渣图对比)

没有什么比一张渣渣图片更让人一目了然了,原图是腾讯Real-ESRGAN的官方测试样例,在对比图中Real-CUGAN明显要优于Waiuf2x、RealESRGAN,画面清晰、更干净。

如何使用

Real-CUGAN的开发团队目前为Windows平台打包了一个可执行环境,在下载解压后,运行go.bat运行即可,另外在处理之前,还需修改config.py配置参数,在项目主页上,官方有专门详细说明各项参数,大家可自行参阅。

由于主要是命令行界面,有一定的上手难度,对于我们而言,最简单的当然还是使用GUI界面,方便快捷。目前Squirrel补帧团队基于RealCUGAN(PyTorch版本)与Waifu2x/RealESRGAN开发了一个图形界面程序,已经免费发布了,用起来非常顺手,阿刚下面简单说下。

Squirrel Anime Enhance,基于多个开源超分算法的中文超分软件

Squirrel Anime Enhance是著名“补帧团队”Squirrel开发一款的基于多个开源超分算法的超分软件,目前主要包括realCUGAN, realESR, waifu2x知名算法,它提供了简单易用的GUI界面,让你快速上手,轻松处理图片、视频。

主要特性:

  • 集成了 realCUGAN, realESR, waifu2x 三种超分算法
  • 拥有友好的 GUI 图形界面,方便使用
  • 使用pipe传输视频帧,无需拆帧到本地,拯救硬盘
  • 更小的显存、内存占用,更快的速度
  • 拥有预览界面,能更好地了解超分情况

Squirrel Anime Enhance使用简单,解压后,双击启动SAE.bat即可启动软件。

1,输入图片/视频

在Squirrel Anime Enhance中,你可以导入要处理的视频与图片序列,但不支持单张图片。

Squirrel Anime Enhance

如果导入的是图片序列,务必要保证文件命名规范(等长),例如input 0001.png, input 0002.png, …另外不支持交错或带有透明通道的图片

2,设置超分算法与模型

如前面所述,目前主要集成了realCUGAN, realESR,和waifu2x三种超分算法,每一种超分算法下都有相对应的超分模型,大家可以针对视频特征自行选择,简单说下:

Squirrel Anime Enhance

waifu2x:

  • models cunet:一般用于动漫超分
  • models photo:一般用于实拍
  • models style anime:一般用于老动漫

realESR:

realESR提供了两类模型,其中:

  • realESRGAN模型:效果清晰,偏向于脑补;
  • realESRNet模型:效果模糊,偏向于涂抹
  • 2x和4x模型速度差异并不是特别明显,但建议使用与输出分辨率最邻近的倍率模型,例如输入为270p,输出为1080p.建议使用4x模型;输入为270p,输出为540p,建议使用2x模型

realCUGAN,

realCUGAN目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型,其中:

  • 降噪版(Denoise):主要针对原片噪声多;
  • 无降噪版(No-Denoise):如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;
  • 保守版(conservative):如果担心丢失纹理,担心画风被改变,颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本。

在选择好合适的算法与模型后,便可以一键压制。阿刚用了一小段海贼王的,放至两倍,细节保留得当,最后的效果相当棒,

Squirrel Anime Enhance

写在最后

开源的超分算法中,waifu2x功能强大,大家肯定耳熟能详了,腾讯推出的realESR实力也不容小觑,两者在动漫超分的效果上着实让人感到惊艳。

而B站这个开源的动漫超分模型,在速度、修复效果、处理痕迹上,表现更优秀,官方目前还在不断优化之中,如果你是个动漫爱好者,或者有放大视频的需要,可以试试B站realCUGAN,效果相当惊艳~

当然前提,你首先要有一台配置够强劲的电脑~

3 条评论

  1. 故外

    好耶

  2. C02Q9

    非常有用

  3. 津生有你

    漂亮

评论载入中,请稍等...