进阶作业垂直领域选择:图像处理知识库,构建图像处理专业问答助手
应用地址:https://openxlab.org.cn/apps/detail/邓大眼睛/image_processing_LM
# 创建并激活虚拟环境
/root/share/install_conda_env_internlm_base.sh InternLM
conda activate InternLM
# 升级pip
python -m pip install --upgrade pip
pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
# 安装langchain依赖包
pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7
在 /root/data
目录下新建python文件 download.py
修改模型路径,并运行。
# 运行下面的python代码下载internlm2-chat-7b作为基座模型
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-7b', cache_dir='/root/data/model')
huggingface
下载模型参数:开源词向量模型 Sentence Transformer:首先需要使用 huggingface
官方提供的 huggingface-cli
命令行工具。安装依赖:
pip install -U huggingface_hub
然后在和 /root/data
目录下新建python文件 download_hf.py
,填入以下代码:
import os
# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/data/model/sentence-transformer')
另外,构建开源词向量还需要下载nltk库