随着科学技术的不断发展尤其是人工智能、云计算、机器学习等技术在图像视频领域大展身手,图像智能化处理变得越来越普及化,各种基于AI云计算、机器学习的应用层出不穷,例如国外的Topaz产品,基于AI算法可对图像、视频进行智能化降噪、锐化、放大,以进一步对老旧图像视频就行画质修复,使之重焕光彩。
除了像Topaz商业应用外,近些年开源免费的超分算法模型也屡见不鲜,例如之前阿刚给大家推荐过的Waifu2x,它是目前最火爆的图像超分算法之一。
最近,B站开发了一个专门针对二次元图像的Real-CUGAN算法模型,效果惊艳!
Real-CUGAN,B站推出的二次元图像AI超分算法模型
Real-CUGAN是一个使用百万级动漫数据进行训练的,结构与Waifu2x兼容的通用动漫图像超分辨率模型。它支持2x\3x\4x倍超分辨率,其中2倍模型支持4种降噪强度与保守修复,3倍/4倍模型支持2种降噪强度与保守修复。
什么是超分技术
先简单说下超分技术,通俗的理解,就是将图像/视频的分辨率放大,它是一种底层图像处理任务,将低分辨率的图像映射至高分辨率,以此达到增强图像细节的作用。
超分辨率重建的方法有多种,目前的主流是基于机器深度学习,即先将高分辨率图像按照降质模型进行降质,产生训练模型,根据高分辨率图像的低频部分和高频部分对应关系对图像分块,通过一定算法进行学习,获得先验知识,建立模型,最后即可应用,实现低质图像进行高清化处理。
Real-CUGAN全称Real Cascade U-Nets for Anime Image Super Resolution,其模型结构魔改自Waifu2x官方CUNe,训练代码主要参考腾讯发布的RealESRGAN。
主要优势:
- 百万训练集:Real-CUGAN的高清私有训练集块数量高达百万级,Waifu2x与Real-ESRGAN均为私有库,量级与质量未知
- 优秀的细节效果:更锐利的线条,更好的纹理保留,虚化区域保留
- 良好的兼容性:同Waifu2x结构相同,但参数不同,与Waifu2x无缝兼容
- 可调节强度:目前有4种降噪程度版本和保守版,后续将支持调节不同去模糊、去JPEG伪影、锐化、降噪强度
- 速度:Real-CUGAN、Waifu2x均约为Real-ESRGAN的2.2倍速度;约为通用型Real-ESRGAN模型的8.4倍速度。
官方针对纹理、线条、“渣清”以及景深四种图片特点,分别使用Waifu2x、腾讯的RealESRGAN进行处理,制作了一组最终的效果对比图,阿刚这里选了纹理和渣清对比最明显的两组图,大家可以放大看原图直观比较下:
(纹理)
在这种对比图中,地板纹理Real-CUGAN和Waiuf2x的处理效果大差不差,Waifu2x只有降噪,并未对线条做优化,而且它的锐利度也是最小的,两者的区别很小,腾讯的RealESRGAN纹理保留性最差,较为模糊、细节有所丢失,表现较弱。
综合比较的话,Real-CUGAN处理的最好
(渣图对比)
没有什么比一张渣渣图片更让人一目了然了,原图是腾讯Real-ESRGAN的官方测试样例,在对比图中Real-CUGAN明显要优于Waiuf2x、RealESRGAN,画面清晰、更干净。
如何使用
Real-CUGAN的开发团队目前为Windows平台打包了一个可执行环境,在下载解压后,运行go.bat运行即可,另外在处理之前,还需修改config.py配置参数,在项目主页上,官方有专门详细说明各项参数,大家可自行参阅。
由于主要是命令行界面,有一定的上手难度,对于我们而言,最简单的当然还是使用GUI界面,方便快捷。目前Squirrel补帧团队基于RealCUGAN(PyTorch版本)与Waifu2x/RealESRGAN开发了一个图形界面程序,已经免费发布了,用起来非常顺手,阿刚下面简单说下。
Squirrel Anime Enhance,基于多个开源超分算法的中文超分软件
Squirrel Anime Enhance是著名“补帧团队”Squirrel开发一款的基于多个开源超分算法的超分软件,目前主要包括realCUGAN, realESR, waifu2x知名算法,它提供了简单易用的GUI界面,让你快速上手,轻松处理图片、视频。
主要特性:
- 集成了 realCUGAN, realESR, waifu2x 三种超分算法
- 拥有友好的 GUI 图形界面,方便使用
- 使用pipe传输视频帧,无需拆帧到本地,拯救硬盘
- 更小的显存、内存占用,更快的速度
- 拥有预览界面,能更好地了解超分情况
Squirrel Anime Enhance使用简单,解压后,双击启动SAE.bat即可启动软件。
1,输入图片/视频
在Squirrel Anime Enhance中,你可以导入要处理的视频与图片序列,但不支持单张图片。
如果导入的是图片序列,务必要保证文件命名规范(等长),例如input 0001.png, input 0002.png, …另外不支持交错或带有透明通道的图片
2,设置超分算法与模型
如前面所述,目前主要集成了realCUGAN, realESR,和waifu2x三种超分算法,每一种超分算法下都有相对应的超分模型,大家可以针对视频特征自行选择,简单说下:
waifu2x:
- models cunet:一般用于动漫超分
- models photo:一般用于实拍
- models style anime:一般用于老动漫
realESR:
realESR提供了两类模型,其中:
- realESRGAN模型:效果清晰,偏向于脑补;
- realESRNet模型:效果模糊,偏向于涂抹
- 2x和4x模型速度差异并不是特别明显,但建议使用与输出分辨率最邻近的倍率模型,例如输入为270p,输出为1080p.建议使用4x模型;输入为270p,输出为540p,建议使用2x模型
realCUGAN,
realCUGAN目前3倍4倍超分只有3个模型,2倍有4个不同降噪强度模型和1个保守模型,其中:
- 降噪版(Denoise):主要针对原片噪声多;
- 无降噪版(No-Denoise):如果原片噪声不多,压得还行,但是想提高分辨率/清晰度/做通用性的增强、修复处理,推荐使用;
- 保守版(conservative):如果担心丢失纹理,担心画风被改变,颜色被增强,总之就是各种担心AI会留下浓重的处理痕迹,推荐使用该版本。
在选择好合适的算法与模型后,便可以一键压制。阿刚用了一小段海贼王的,放至两倍,细节保留得当,最后的效果相当棒,
写在最后
开源的超分算法中,waifu2x功能强大,大家肯定耳熟能详了,腾讯推出的realESR实力也不容小觑,两者在动漫超分的效果上着实让人感到惊艳。
而B站这个开源的动漫超分模型,在速度、修复效果、处理痕迹上,表现更优秀,官方目前还在不断优化之中,如果你是个动漫爱好者,或者有放大视频的需要,可以试试B站realCUGAN,效果相当惊艳~
当然前提,你首先要有一台配置够强劲的电脑~
- 本文标签:神器
- 版权声明:本站原创文章,于2022-02-10由阿刚同学发表,本文共2819个字。
- 转载请注明:Real-CUGAN,B站推出的图像视频AI超分算法模型(AI放大)|乐软博客 +复制链接
-
Dism++,一款超强Windows实用工具 2017-10-14 47,046
-
让搜索快如闪电,Windows免费好用的快速搜索工具 2021-03-17 17,926
-
uBlock,一款比Adblock更好用的广告过滤神器 2018-10-15 41,266
-
重装系统后那些我必装工具软件—补充篇 2019-12-27 24,467
-
最好用的广告拦截软件,从此看视频不再有广告 2013-05-21 15,097
-
Greasemonkey油猴脚本-增强浏览器扩展功能的绝佳神器 2017-03-23 76,532
-
让你的桌面动起来-Windows FX经典桌面美化神器 2016-06-05 27,998
-
EverythingToolbar,将Everything集成在windows开始菜单和任务栏 2024-07-04 6,484
-
不仅仅是youtube,youtube-dl在线视频下载神器 2016-08-24 45,264
-
管理和扩展你的右键菜单,这是一份右键菜单优化指南 2019-10-11 17,986
good~漂亮!
点赞
好耶
非常有用
漂亮