开源模型ModelScope的初探使用

news/2024/4/25 21:48:32/文章来源:https://blog.csdn.net/HinstenyHisoka/article/details/130352903

泛AI开发者的一站式模型服务产品平台

阿里达摩院推出了一个开源的模型共享平台，包括计算机视觉、多模态、自然语言处理等多个领域上手即用的模型，如果AI相关模型感兴趣的同学，或者想基于基础模型做业务场景的同学，都可以用这个平台玩玩！

平台介绍

ModelScope的依赖说明

关于ModelScope的详情介绍参加官网–链接

运行环境依赖python3(不支持python2)，这里建议3.7;
依赖Tensorflow，Pytorch两大深度学习框架进行模型训练、推理。

环境搭建

Python 开发环境

首先在本地搭建下Python的基础研发环境，然后就能做Python的基础开发。

1、安装Python3

Python官网–下载链接，选择3.7版本，下载适合自己操作系统的安装文件，然后本地安装(这里的版本不关键，后续我们用Anaconda创建管理实际使用的Python环境)

2、开发工具–VSCode

VSCode是微软推出的一款支持各类开发语言，非常便捷且高效的代码开发工具，针对具体的语言一开始需要额外配置一些插件；VSCode的下载链接

3、Python的包与环境管理工具–Anaconda

Anaconda–下载安装，我们可以使用Anaconda里面包含的conda工具，创建管理独立的Python环境，每个环境中安装三方包都是互不影响的；

ModelScope开发环境

上面已经完成Python的基础开发环境，下面我们再进一步创建ModelScope的环境

1、创建一个独立的Python环境上下文

使用conda命令，链接

# 创建一个名为modelscope且Python版本为3.7的独立Python环境
conda create -n modelscope python=3.7
# 查看一下当前存在的Python列表
conda env list
# 在当前session(Terminal)激活创建的环境
conda activate modelscope
# 如果不想要环境了，可以删除(环境不用了，或者搞坏了)。---这里别做
conda remove --name xxx --all

创建Python环境
激活环境

2、安装深度学习框架

# 安装pytorch
pip3 install torch torchvision torchaudio
# 安装Tensorflow
pip install --upgrade tensorflow==1.15
# pip install --upgrade tensorflow-gpu==1.15 # GPU 版

在这里插入图片描述

3、安装ModelScope–阿里达摩院开源的部分训练模型

安装参考–链接
ModelScope Libarary由核心框架，以及不同领域模型的对接组件组成。如果只需要ModelScope模型和数据集访问等基础能力，可以只安装ModelScope的核心框架：

# 只安装ModelScope的核心框架
pip install modelscope
# 如果已经安装过了，然后需要使用新版本发布的Libary，升级一下
pip install modelscope --upgrade

在这里插入图片描述

至此，我们的ModelScope开发环境已经搭建好了，具备了使用ModelScope开发相关模型应用的能力。但是使用VSCode研发还需要设置下Python解析器.

4、VSCode设置Python解析器

先在VSCode的插件市场安装下Python扩展，以便VSCode能支持Python语言工程的开发。
点击菜单View的命令控制板
在弹出的窗口中输入并选择–(Python: Select Interpreter)
然后再选择我们创建的–modelscope，如果这里没有自动提示出来，我们手动选择下文件路径。
然后我们创建一个Python工程，使用下modelscope

模型实战

1、DCT-Net人像卡通化模型-3D

模型介绍–链接

1. 代码

import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasksimg_cartoon = pipeline(Tasks.image_portrait_stylization, model='damo/cv_unet_person-image-cartoon-3d_compound-models')
# 图像本地路径
#img_path = 'input.png'
# 图像url链接
# img_path = 'https://invi-label.oss-cn-shanghai.aliyuncs.com/label/cartoon/image_cartoon.png'
img_path = './images/people/image_cartoon_gril.jpg'
result = img_cartoon(img_path)cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])
print('finished!')

2. 图片处理效果

处理前

处理后

其他包安装问题

cv2

1、正常使用pip命令安装
链接

# 基础安装
pip install opencv-python
# 全量安装
pip install opencv-contrib-python

2、上述正常安装VSCode依旧不能识别，然后使用conda

conda install opencv

easydict