问题描述
pytorch 一直很受大家的欢迎，但是作为一个深度模型，与外界复杂的业务需求交互其实是一件比较麻烦的事情，这里 torchserve 提供一个基于 TCP 的交互方法，算法模型部署后，用户可以通过提交 post 请求，将数据传送给 torchserve 并获得算法结果。
docker 环境
不管是 mac os 或者 windows 、linux ，均需要安装好 docker 环境，此步骤安装简单，全网教程也非常多，一般按照官方提供的安装脚本或软件即可正常安装。
docker 添加 torchserve
首先查看一下 docker 已经安装的镜像：
$ sudo docker images
因为我当前没有安装任何环境，输出内容为：
若未安装，则输入如下命令安装 torchserve。
$ sudo docker pull pytorch/torchserve:latest
这个过程可能需要消耗一些时间。
再次输入如下命令，可以看到：
$ sudo docker images
打包模型为 mar 文件
如果已经训练好 pytorch 的模型（.pt 文件），需要打包成为 .mar 文件后方能作为 torchserve 能调用的模型，即需要使用 torch-model-archiver 对已有的 .pt 文件打包，方法如下：
torch-model-archiver -f --model-name shape_cnn \
--version 1.0 \
--serialized-file 模型对应的pt文件.pt \
--handler 预处理与后处理的文件.py \
--export-path 导出mar文件的路径
启动 torchserve 提供服务
上个步骤中有提到导出mar文件的路径，这里注意需要保证如下命令中的第二行的路径为 mar 文件的所在路径，因为在模型的注册的时候将会在这个目录下寻找 mar 文件（也就是这里的 /home/yan/models）。
$ sudo docker run --rm -it -d -p 8280:8080 -p 8281:8081 -p 8282:8082 \--name torchserve -v /home/yan/models:/home/model-server/model-store \pytorch/torchserve:latest
启动后，将会通过 TCP 协议接收外界的一些模型相关操作。注意这里还没有注册模型，也就是还没法提供算法服务，只是启动了平台，算法需要在这个平台上注册才能提供服务。
注册模型
这里需要发送一个 POST 请求，注册模型，注意注册的模型需要确保启动 torchserve 时配置的文件夹中有对应的 .mar 文件。
$ curl --location --request POST 'http://localhost:8281/models' \--header 'Content-Type: application/json' \--data-raw '{"url": "my_cnn.mar","batch_size": 64,"initial_workers": 1}'
测试
运行模型后，我们需要注意post请求中有个 url 参数，这个对应的是提供服务的地址，接下来的测试均需要访问这个路径。
$ curl --location --request POST 'http://localhost:8280/predictions/my_cnn' \
--header 'Content-Type: application/json' \
--data-raw '测试数据数据'
一般情况下会输出算法的结果，也就是前面提到打包时 --handler 预处理与后处理的文件.py 这个文件实现的内容。
总结
torchserve 是一个很好的工具，通过 tcp 协议完成算法模型与测试的交互，比如人脸识别模型可能需要训练很长时间才能完成，并且测试的时候可能在其他设备中，比如门禁、移动电话等等。
Smileyan
2023.02.28 19:58
