IPEX-LLM(原名BigDL-LLM)环境配置

news/2024/5/12 0:37:20/文章来源:https://blog.csdn.net/weixin_45975575/article/details/137607250

IPEX-LLM 是一个为Intel XPU (包括CPU和GPU) 打造的轻量级大语言模型加速库，在Intel平台上具有广泛的模型支持、最低的延迟和最小的内存占用。
您可以使用 IPEX-LLM 运行任何 PyTorch 模型（例如 HuggingFace transformers 模型）。在运行过程中，IPEX-LLM利用了低比特优化技术、现代硬件加速技术，和一系列软件优化技术来自动加速LLM。
使用 IPEX-LLM 非常简单。只需更改一行代码，您就可以立即观察到显著的加速效果。

一、前期准备

1、Anaconda
下载网址：清华镜像站

我个人下载的是22.10的版本

可以安装到默认文件夹，也可以自定义路径。
安装时不要勾选“Add Anaconda to the system PATH environment variable.”，完成后手动新增环境变量PATH。

创建一个python3.9的环境

conda create -n py39_cpu python=3.9

2、pytorch
激活环境

conda activate py39_cpu

安装torch：pytorch官网

在这里插入图片描述

conda install pytorch torchvision torchaudio cpuonly -c pytorch  // 这种就是直接从国外下载

conda install pytorch torchvision torchaudio cpuonly –c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main  // 镜像加速版

也可以采用离线下载的方法：离线下载网址，下载完成后切换到文件所在目录，使用pip install xxx安装。

3、从Huggingface下载模型
可以参考我的另一篇博文

二、CPU

1、安装ipex-llm包
cpu上很简单，一句话搞定

pip install --pre --upgrade ipex-llm[all]

三、GPU

创建一个python3.10的环境

conda create -n py310_gpu python=3.10

激活环境

conda activate py310_gpu

1、安装gpu
这里的GPU是Intel公司出的产品，目前只支持pytorch2.1版本，下载地址
在这里插入图片描述
2、visual studio2022
安装visual studio2022“Desktop development with C++”模块

3、Intel® oneAPI Base Toolkit 2024.0
有两种安装方式
离线安装：oneAPI
pip安装

pip install dpcpp-cpp-rt==2024.0.2 mkl-dpcpp==2024.0.0 onednn==2024.0.0

gpu版本的ipex-llm

pip install intel_extension_for_pytorch-2.1.20+git4849f3b-cp310-cp310-win_amd64.whl
pip install torch-2.1.0a0+git7bcf7da-cp310-cp310-win_amd64.whl
pip install torchaudio-2.1.0+6ea1133-cp310-cp310-win_amd64.whl
pip install torchvision-0.16.0+fbb4cc5-cp310-cp310-win_amd64.whlpip install --pre --upgrade bigdl-llm[xpu]