前言
很久没更新这个专栏了，最近比较忙。前段时间看到了这个模型觉着很有意思，弄下来自己玩了玩，但是没时间写文章，一直搁置到现在。
废话不多说，先上Github地址： RealBasicVSR地址
从给出的效果来看，还是很不错的，左侧是超分后的画面，右边是原画质，得到明显提升。下面我说一下我的安装过程，还有一些使用中的踩坑，让大家去测试项目的时候可以提前规避。
安装
项目拉下来之后，我们先打开README，看看说明。
安装的步骤不多，但是还是有一些坑的，下面是我的安装步骤，如果你们自己安装的有问题的话，可以参考一下我的步骤。
1、虚拟环境创建
作者没有给出需要的python版本，这里我用的python3.8
conda create -n real python=3.8 conda activate real
2、安装pytorch
这里本来我以为我现在的最新版本可以跑的，后面发现不行，所以老老实实的按照作者的版本安装。
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=10.1 -c pytorch
3、安装openmim
这里没什么好说的，装就完了。
pip install openmim -i https://pypi.douban.com/simple
4、安装mmcv-full
同上
mim install mmcv-full
5、安装mmedit
同上
pip install mmedit -i https://pypi.douban.com/simple
6、安装scipy
这个作者没写，但是要装。
pip install scipy -i https://pypi.douban.com/simple
7、模型下载
嗯，在外网比较难下，我下好了，放到我的百度云盘。
链接 提取码：1234
在项目中创建文件夹checkpoints，把下载的文件放进去。如下图
使用
ok，环境装好了，我们看看怎么使用。
作者提供了图片文件夹处理方式和视频处理方式，我们挨个测一下。
图片超分
我就不准备用作者提供的demo图了，我自己找了一张，如下图。
图片尺寸
放置目录如下
执行命令如下
python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/demo_001 results/demo_001
执行结果
2022-05-08 10:57:06,303 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19
load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth
/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:2157.)
return _VF.meshgrid(tensors, **kwargs) # type: ignore[attr-defined]
结果图如下
可以看出明显的清楚了很多。
结果图尺寸
视频超分
然后我们看看视频超分的情况，这部分是有一些坑的，后面会说到。
首先我准备了一个视频，视频分别率如下。
可以看到视频分辨率540p。
执行命令如下，里面有作者给出样例没有的参数，我后面注意里面会解释。
python inference_realbasicvsr.py configs/realbasicvsr_x4.py checkpoints/RealBasicVSR_x4.pth data/12345.mp4 results/demo_123.mp4 --fps=25 --max_seq_len=2
执行结果
2022-05-08 11:02:01,023 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19
load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth
/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:2157.)
return _VF.meshgrid(tensors, **kwargs) # type: ignore[attr-defined]
最终视频分辨率情况
注意
1、首先，视频原长度是2分钟的，我截取到5s的视频进行超分处理的。不然会显存溢出。
2、--max_seq_len=2参数也是为了避免显存溢出，总的来看，这个模型不太适合直接跑视频，最好的方式还是跑图片序列，然后最后压缩图片为视频比较好。
压缩图片为对比视频样例
作者给了一个demo程序可以将输出的图片压缩为前后对比视频，如下图说明。
我测试了一下，代码这里需要改动一下，代码框出的部分需要把注释取消。
对比视频如下图，左边为超分后效果，右边为原图效果。
项目说明
我把项目进行的工具化调整，做成了对单一照片输入进行处理的工具。大家可以拿去直接集成到代码中使用。
github项目地址：工具项目地址
项目结构如下
注意项
1、 checkpoints中的模型文件太大，上传不到github上，大家可以通过下面我分享的百度云盘地址下载，放到checkpoints目录中。
链接 提取码：1234
2、conda环境安装，我这里就不多叙述了，直接参考前言中的安装过程即可。
代码说明
主要的核心代码是inference_hy.py文件，代码如下：
#!/user/bin/env python
# coding=utf-8
"""
@project : hy_realbasicvsr
@author : 剑客阿良_ALiang
@file : inference_hy.py
@ide : PyCharm
@time : 2022-05-08 15:18:15
"""
import argparse
import glob
import os
import cv2
import mmcv
import numpy as np
import torch
import uuid
from mmcv.runner import load_checkpoint
from mmedit.core import tensor2img
from realbasicvsr.models.builder import build_model
def init_model(config, checkpoint=None):
if isinstance(config, str):
config = mmcv.Config.fromfile(config)
elif not isinstance(config, mmcv.Config):
raise TypeError('config must be a filename or Config object, '
f'but got {type(config)}')
config.model.pretrained = None
config.test_cfg.metrics = None
model = build_model(config.model, test_cfg=config.test_cfg)
if checkpoint is not None:
checkpoint = load_checkpoint(model, checkpoint)
model.cfg = config # save the config in the model for convenience
model.eval()
return model
class Worker:
def __init__(self):
self.checkpoint_path = 'checkpoints/RealBasicVSR_x4.pth'
self.config = 'configs/realbasicvsr_x4.py'
self.is_save_as_png = True
self.max_seq_len = 2
self.model = init_model(self.config, self.checkpoint_path)
def do_pic(self, input_image_path: str, output_dir: str):
inputs = []
img = mmcv.imread(input_image_path, channel_order='rgb')
ext = os.path.basename(input_image_path).split('.')[-1]
inputs.append(img)
for i, img in enumerate(inputs):
img = torch.from_numpy(img / 255.).permute(2, 0, 1).float()
inputs[i] = img.unsqueeze(0)
inputs = torch.stack(inputs, dim=1)
# map to cuda, if available
cuda_flag = False
if torch.cuda.is_available():
model = self.model.cuda()
cuda_flag = True
with torch.no_grad():
if isinstance(self.max_seq_len, int):
outputs = []
for i in range(0, inputs.size(1), self.max_seq_len):
imgs = inputs[:, i:i + self.max_seq_len, :, :, :]
if cuda_flag:
imgs = imgs.cuda()
outputs.append(self.model(imgs, test_mode=True)['output'].cpu())
outputs = torch.cat(outputs, dim=1)
else:
if cuda_flag:
inputs = inputs.cuda()
outputs = self.model(inputs, test_mode=True)['output'].cpu()
mmcv.mkdir_or_exist(output_dir)
for i in range(0, outputs.size(1)):
output = tensor2img(outputs[:, i, :, :, :])
filename = '{}.{}'.format(uuid.uuid1().hex, ext)
if self.is_save_as_png:
file_extension = os.path.splitext(filename)[1]
filename = filename.replace(file_extension, '.png')
result_path = os.path.join(output_dir, filename)
mmcv.imwrite(output, result_path)
if __name__ == '__main__':
worker = Worker()
worker.do_pic('data/136.jpeg', 'results/')
代码说明
1、如果在真实项目中使用的话，worker对象可以在项目启动中创建，不需要每次调用时候创建。
2、主要使用方法为do_pic方法，入参分别为：需要超分的照片地址，以及最后生成的目录地址。
3、最终输出的照片名使用uuid进行命名，如果需要自定义的话，可以看着调整。
4、输出的文件格式不一定需要是png，上面的类初始化有bool选项，自行调整。
测试一下代码，先看一下图片。
执行结果
2022-05-08 15:47:54,792 - mmedit - INFO - load checkpoint from torchvision path: torchvision://vgg19
load checkpoint from local path: checkpoints/RealBasicVSR_x4.pth
/home/zhangmaolin/.local/lib/python3.7/site-packages/torch/functional.py:445: UserWarning: torch.meshgrid: in an upcoming release, it will be required to pass the indexing argument. (Triggered internally at ../aten/src/ATen/native/TensorShape.cpp:2157.)
return _VF.meshgrid(tensors, **kwargs) # type: ignore[attr-defined]
最终图片输出
总结
本文主要是造个轮子吧，相信有经验的可以自己改造，包括视频处理也可以不要使用作者的demo，自己优化一下逻辑，性能应该都跟得上。提供思路吧，视频拆分图片组和音频，处理完之后压缩为一个视频。
以上就是Python图片视频超分模型RealBasicVSR的使用教程的详细内容，更多关于Python RealBasicVSR的资料请关注服务器之家其它相关文章！
原文链接：https://blog.csdn.net/zhiweihongyan1/article/details/124645615
