全新conda环境安装transformers全流程记录

全新conda环境安装transformers全流程记录

前言

由于需要安装huggingface的transformers库，但是在我windows的一个已经安装好pytorch和tensorflow的环境中安装，总是出现各种问题。因此在实验室服务器中重新安装。

transformers安装指导，我将按此进行安装尝试。

创建虚拟环境

首先，先创建一个新的虚拟环境，我的名字为pydnlp，选了3.8.10的python。

conda create -n pydnlp python=3.8.10

安装pytorch

指导上提示需要安装tensorflow和pytorch其中之一，当然也可以两个都安装。我先安装pytorch（但是我记得之前运行，需要两个都安装）。

pytorch安装指导。

为了使安装的pytorch支持gpu，我们可以使用命令：

nvcc -V

查看我们的cuda版本，我的版本是1.14，但是pytorch安装指导中并没有1.14，后来我使用1.13的也成功了。

查到了cuda版本号、操作系统类型，并且选择使用conda或者pip安装后，按照安装指导生成的命令安装即可。

此过程可能时间较长，也可以使用国内镜像安装（应该），我没用。

这里安装完以后可以用以下语句删除一些没用的安装包。具体参数可以查。

conda clean -参数

安装transformers

直接使用

pip install transformers

测试

from transformers import pipeline
print(pipeline('sentiment-analysis')('we love you'))

但是很可能报错 connection error，这应该能通过保存模型到本地解决。

总结

本来觉得安装会比较麻烦，因为我之前在一个复杂的已经安装好pytorch和tensorflow的环境上安装运行总是会报一些错。所以特意想记录一下，现在看没有记录的必要。

但是最主要的是怎么用transformers，这几天再探究一下再记录，这次就水个博客。