使用的软件和版本为:Pytorch1.8,torchtext0.9 和Python3.7
环境配置
①要安装Pytorch,请参阅Pytorch网站上的安装说明。
②要安装torchtext,请执行以下操作:
pip install torchtext
复制代码
③若安装速度较慢,可改为以下命令:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchtext
复制代码
④此外,我们还将使用spaCy来标记数据。要安装spaCy,可以按照spaCy官网的指令来安装
- spaCy是一个python开源模块,用于处理自然语言的大量文本。比如,一段文字的关键是什么?在段落中上下文的意思是什么?谁对谁做了什么?那些公司和产品名称特指什么?一个单词和其他其他单词相似程度如何?作为人类,理解自然语言比较容易,但如果让计算机去理解文本的意思,这都是不可回避的问题。
- spaCy就是帮助你使用计算器程序去处理和理解海量文本的工具。在目前来说,号称是速度最快、更加适合实际应用的工业级产品。spaCy可以帮助你构建信息提取、自然语言理解以及深度学习的预处理
conda install -c conda-forge spacy
conda install -c conda-forge cupy
python -m spacy download zh_core_web_sm
python -m spacy download en_core_web_sm
复制代码
⑤对于transformers库,可以通过以下方式安装(更改为清华源):
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple transformers
复制代码
这些教程是使用的transformers版本为4.3。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
THE END