1. 基础作业:复现课程知识库助手搭建过程 (截图)

2. 进阶作业:选择一个垂直领域,收集该领域的专业资料构建专业知识库,并搭建专业问答助手,并在 OpenXLab 上成功部署(截图,并提供应用地址)

进阶作业垂直领域选择:图像处理知识库,构建图像处理专业问答助手

应用地址:https://openxlab.org.cn/apps/detail/邓大眼睛/image_processing_LM

1、环境配置(如上)

# 创建并激活虚拟环境
/root/share/install_conda_env_internlm_base.sh InternLM
conda activate InternLM
# 升级pip
python -m pip install --upgrade pip

pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
# 安装langchain依赖包
pip install langchain==0.0.292
pip install gradio==4.4.0
pip install chromadb==0.4.15
pip install sentence-transformers==2.2.2
pip install unstructured==0.10.30
pip install markdown==3.3.7

2、模型下载:

在 /root/data 目录下新建python文件 download.py 修改模型路径,并运行。

# 运行下面的python代码下载internlm2-chat-7b作为基座模型
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm2-chat-7b', cache_dir='/root/data/model')

Untitled

Untitled

3、从huggingface下载模型参数:开源词向量模型 Sentence Transformer:

首先需要使用 huggingface 官方提供的 huggingface-cli 命令行工具。安装依赖:

pip install -U huggingface_hub

然后在和 /root/data 目录下新建python文件 download_hf.py,填入以下代码:

import os
# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/data/model/sentence-transformer')

另外,构建开源词向量还需要下载nltk库