大模型部署实战（一）——Ziya-LLaMA-13B

---

   ❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️  
   有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）  

---

博主原文链接：https://www.yourmetaverse.cn/llm/188/
6.10日更新增加了模型量化模型，现在的模型只需要一张A100（40GB显卡即可推理）


   （封面图由文心一格生成）  大模型部署实战（一）——Ziya-LLaMA-13B

Ziya-LLaMA-13B是IDEA-CCNL基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。本文主要用于Ziya-LLaMA-13B的本地部署。
在线体验地址：

• 博主自己部署的地址：http://www.yourmetaverse.cn:39000/
  
• 官方部署的地址：https://modelscope.cn/studios/Fengshenbang/Ziya_LLaMA_13B_v1_online/summary
  

本文所使用的代码详见：https://github.com/ChaosWang666/Ziya-LLaMA-13B-deployment
1. 部署准备

1.1 硬件环境

显卡最低显存为54GB，可以为一张A100（80GB）或者两张A100（40GB）。
6.10日更新增加了模型量化模型，现在的模型只需要一张A100（40GB显卡即可推理）
1.2 python环境

1. cpm_kernels==1.0.11
2. gradio==3.34.0
3. huggingface_hub==0.15.1
4. Pillow==9.5.0
5. torch==1.12.1+cu113
6. tqdm==4.64.1
7. transformers==4.29.2
8. accelerate==0.17.1

复制代码

1.3 模型下载

• （1）llama-13B原始参数下载
  原始参数可以通过下面网址下载。
  https://docs.google.com/forms/d/e/1FAIpQLSfqNECQnMkycAp2jP4Z9TFX0cGR4uf7b_fBxjY_OjhJILlKGA/viewform
  
• （2）Ziya-LLaMA-13B-v1.1 delta参数下载
  delta参数进入下面网页下载。
  https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1.1/tree/main
  
• （3）相关代码下载
  进入下面网页下载llama权重转hf权重脚本。
  https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py
  进入下面网页下载llama权重转Ziya-LLaMA-13B权重脚本。
  https://github.com/IDEA-CCNL/Fengshenbang-LM/blob/main/fengshen/utils/apply_delta.py
  

2. 模型部署

首先说明一下项目的文件系统目录

1. -llama-13B
2. -llama-13B-convert
3. -ziya_v1.1_delta
4. -ziya_v1.1
5. -apply_delta.py
6. -convert_llama_weights_to_hf.py
7. -launch.py
8. -utils.py

复制代码

其中llama-13B为llama原始参数存放的目录，llama-13B-convert为转换成huggingface形式的参数存放的目录，ziya_v1.1_delta为huggingface上的权重文件，ziya_v1.1为最终转换后的权重文件。launch.py为本地化部署文件，详见后续章节，utils.py为官方给的文件，直接从https://modelscope.cn/studios/Fengshenbang/Ziya_LLaMA_13B_v1_online/files下载即可。
2.1 llama-13B权重转换

首先第一步需要将llama-13B的原始权重转换成huggingface的权重形式，使用convert_llama_weights_to_hf.py脚本进行转换，转换代码如下：

1. python convert_llama_weights_to_hf.py --input_dir $你的llama-13B路径 --model_size 13B --output_dir $你的llama-13B模型转换后的路径

复制代码

2.2 结合基础的llama权重和Ziya-LLaMA-13B delta权重得到Ziya-LLaMA-13B权重

使用如下代码得到最终的Ziya-LLaMA-13B权重。

1. python -m apply_delta --base $你的llama-13B模型转换后的路径 --target $你的最终权重存储路径 --delta $你下载的Ziya-LLaMA-13B权重路径

复制代码

2.3 模型部署

使用下面这段代码进行模型部署。该代码修改自https://modelscope.cn/studios/Fengshenbang/Ziya_LLaMA_13B_v1_online/files
在官方代码的基础上增加了一些参数和优化内容。

1. import gradio as gr
2. import os
3. import gc
4. import torch
7. from transformers import BitsAndBytesConfig, AutoTokenizer
8. #指定环境的GPU，我的环境是2张A100（40GB）显卡，于是我设置了两张卡，也可以一张80GB的A100
9. #设置模型量化之后可以使用单张A100进行推理
10. os.environ['CUDA_VISIBLE_DEVICES'] = "0"
11. #这个utils文件直接下载官方给的文件即可
12. from utils import SteamGenerationMixin
15. class MindBot(object):
16.     def __init__(self):
17.             #这个model_path为你本地的模型路径
18.         model_path = './ziya_v1.1'
19.         # 模型单精度推理的模型加载
20.         self.model = SteamGenerationMixin.from_pretrained(model_path, device_map='auto').half()
21.         # 模型量化推理的模型加载
22.         #self.model = SteamGenerationMixin.from_pretrained(model_path, device_map='auto',quantization_config=BitsAndBytesConfig(load_in_4bit=True))
23.         self.model.eval()
24.         
25.         self.tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
26.    
27.     def build_prompt(self, instruction, history, human='<human>', bot='<bot>'):
28.         pmt = ''
29.         if len(history) > 0:
30.             for line in history:
31.                 pmt += f'{human}: {line[0].strip()}\n{bot}: {line[1]}\n'
32.         pmt += f'{human}: {instruction.strip()}\n{bot}: \n'
33.         return pmt
34.    
35.     def interaction(
36.         self,
37.         instruction,
38.         history,
39.         max_new_tokens,
40.         temperature,
41.         top_p,
42.         max_memory=1024
43.     ):
44.                
45.         prompt = self.build_prompt(instruction, history)
46.         input_ids = self.tokenizer(prompt, return_tensors="pt").input_ids
47.         if input_ids.shape[1] > max_memory:
48.             input_ids = input_ids[:, -max_memory:]
49.             
50.         prompt_len = input_ids.shape[1]
51.         # stream generation method
52.         try:
53.             tmp = history.copy()
54.             output = ''
55.             with torch.no_grad():
56.                 for generation_output in self.model.stream_generate(
57.                     input_ids.cuda(),
58.                     max_new_tokens=max_new_tokens,
59.                     do_sample=True,
60.                     top_p=top_p,
61.                     temperature=temperature,
62.                     repetition_penalty=1.,
63.                     eos_token_id=2,
64.                     bos_token_id=1,
65.                     pad_token_id=0
66.                 ):
67.                     s = generation_output[0][prompt_len:]
68.                     output = self.tokenizer.decode(s, skip_special_tokens=True)
69.                     # output = output.replace('\n', '<br>')
70.                     output = output.replace('\n', '\n\n')
71.                     tmp.append((instruction, output))
72.                     yield  '', tmp
73.                     tmp.pop()
74.                     # gc.collect()
75.                     # torch.cuda.empty_cache()
76.                 history.append((instruction, output))
77.                 print('input -----> \n', prompt)
78.                 print('output -------> \n', output)
79.                 print('history: ======> \n', history)
80.         except torch.cuda.OutOfMemoryError:
81.             gc.collect()
82.             torch.cuda.empty_cache()
83.             self.model.empty_cache()
84.             history.append((instruction, "【显存不足，请清理历史信息后再重试】"))
85.         return "", history
86.         
87.     def chat(self):
88.         
89.         with gr.Blocks(title='IDEA MindBot', css=".bgcolor {color: white !important; background: #FFA500 !important;}") as demo:
90.             with gr.Row():
91.                 gr.Column(scale=0.25)
92.                 with gr.Column(scale=0.5):
93.                     gr.Markdown("<center><h1>IDEA Ziya</h1></center>")
94.                     gr.Markdown("<center>姜子牙通用大模型V1.1是基于LLaMa的130亿参数的大规模预训练模型，具备翻译，编程，文本分类，信息抽取，摘要，文案生成，常识问答和数学计算等能力。目前姜子牙通用大模型已完成大规模预训练、多任务有监督微调和人类反馈学习三阶段的训练过程。</center>")
95.                 gr.Column(scale=0.25)
96.             with gr.Row():
97.                 gr.Column(scale=0.25)
98.                 with gr.Column(scale=0.5):
99.                     chatbot = gr.Chatbot(label='Ziya').style(height=500)
100.                     msg = gr.Textbox(label="Input")
101.                 # gr.Column(scale=0.25)
102.                 with gr.Column(scale=0.25):
103.                     max_new_tokens = gr.Slider(0, 2048, value=1024, step=1.0, label="Max_new_tokens", interactive=True)
104.                     top_p = gr.Slider(0, 1, value=0.85, step=0.01, label="Top P", interactive=True)
105.                     temperature = gr.Slider(0, 1, value=0.8, step=0.01, label="Temperature", interactive=True)
106.             with gr.Row():
107.                 gr.Column(scale=0.25)
108.                 with gr.Column(scale=0.25):
109.                     clear = gr.Button("Clear")
110.                 with gr.Column(scale=0.25):
111.                     submit = gr.Button("Submit")
112.                 gr.Column(scale=0.25)
113.                
114.             msg.submit(self.interaction, [msg, chatbot,max_new_tokens,top_p,temperature], [msg, chatbot])
115.             clear.click(lambda: None, None, chatbot, queue=False)
116.             submit.click(self.interaction, [msg, chatbot,max_new_tokens,top_p,temperature], [msg, chatbot])
117.         return demo.queue(concurrency_count=10).launch(share=False,server_name="127.0.0.1", server_port=7886)
118.         
120. if __name__ == '__main__':
121.     mind_bot = MindBot()
122.     mind_bot.chat()

复制代码

该代码中需要修改的地方已经在代码块上标出。
全面内容见github https://github.com/ChaosWang666/Ziya-LLaMA-13B-deployment

---

   ❤️觉得内容不错的话，欢迎点赞收藏加关注，后续会继续输入更多优质内容❤️  
   有问题欢迎大家加关注私戳或者评论（包括但不限于NLP算法相关，linux学习相关，读研读博相关......）  

---

来源：https://blog.csdn.net/qq_41667743/article/details/131125481
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！