Llama中文社区，实时汇总最新Llama学习资料，构建最好的中文Llama大模型开源生态，完全开源可商用
最好的Llama大模型开源社区
🤗 Hugging Face • 🤖 ModelScope • ✡️ WiseModel
欢迎来到Llama中文社区！Llama模型的开源无疑极大促进了大模型技术的发展，我们致力于构建一个开放平台，能够让所有的开发者与技术爱好者一起共创Llama开源生态。从大模型到小模型，从文本到多模态，从软件到硬件算法优化，我们期望开源能够带给全人类以AI普惠。在一个科技爆发的时代，加入Llama Family，与技术一同进步，与社区一同前行，一起迈向AGI！
社区资源的丰富性是社区发展的重要保障，它涵盖了各种方面，其中包括但不限于以下四个方面：算力、数据、论坛和应用。在这些方面的积极发展与充分利用，将为社区成员提供更多的机会和支持，推动整个社区向着更加繁荣的方向发展。更多的内容请看llama.family
【最新】2025年04月05日：原生多模态MoE架构的Llama 4开源！最高达2T参数的Behemoth模型，以及Maverick、Scout。
【最新】2024年12月06日：Llama 3.3模型发布，更新70B Instruct模型。
【最新】2024年09月25日：Llama 3.2模型发布，核心主打1B、3B端侧小模型，以及11B、90B多模态输入模型！
【最新】2024年07月24日：开源最强Llama 3.1模型发布，包含8B、70B和405B！
【最新】2024年07月16日：社区论坛上线，有大模型问题，就找Llama中文社区！
【最新】2024年05月15日：支持ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat，详细使用方法。
【最新】2024年04月23日：社区增加了llama3 8B中文微调模型Llama3-Chinese-8B-Instruct以及对应的免费API调用。
【最新】2024年04月19日：社区增加了llama3 8B、llama3 70B在线体验链接。
【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：角色role。
【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接modelscope、Huggingface。
【最新】2024年04月01日：社区上线了Llama中文应用平台；同时如果你有优秀的的应用需要推广可以填写申请表。
【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）API使用链接
【最新】2024年04月14日：社区更新了四个专家角色：心理咨询师、羊驼夸夸 、律师、医生。链接：角色role。
【最新】2024年04月10日：Atom-7B-Chat 模型回答内容相较之前更为丰富、增强了模型的指令遵循能力和回答稳定性、优化了ppo的奖励模型。下载链接modelscope、Huggingface。
【最新】2024年04月01日：社区上线了Llama中文应用平台；同时如果你有优秀的的应用需要推广可以填写申请表。
【最新】2024年03月28日：社区免费公开课。
【最新】2024年03月08日：开放了免费API供大家使用，包含（Atom-1B,7B,13B 3种中文大模型）API使用链接
【最新】2023年10月8日：新增清华大学JittorLLMs的推理加速功能JittorLLMs！
原子大模型Atom由Llama中文社区和原子回声联合打造。
| 类别 | 模型名称 | 🤗模型加载名称 | 下载地址 |
|---|---|---|---|
| 预训练 | Atom-7B | FlagAlpha/Atom-7B | HuggingFace | ModelScope | WiseModel |
| Chat | Atom-7B-Chat | FlagAlpha/Atom-7B-Chat | HuggingFace | ModelScope | WiseModel |
Atom系列模型包含Atom-13B、Atom-7B和Atom-1B，基于Llama2做了中文能力的持续优化。Atom-7B和Atom-7B-Chat目前已完全开源，支持商用，可在Hugging Face仓库获取模型，详情见Atom-7B下载。Atom大模型针对中文做了以下优化：
-
大规模的中文数据预训练
原子大模型Atom在Llama2的基础上，采用大规模的中文数据进行持续预训练，包含百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过1T token的高质量中文数据，持续不断加入训练迭代中。
-
更高效的中文词表
为了提高中文文本处理的效率，我们针对Llama2模型的词表进行了深度优化。首先，我们基于数百G的中文文本，在该模型词表的基础上扩展词库至65,000个单词。经过测试，我们的改进使得中文编码/解码速度提高了约350％。此外，我们还扩大了中文字符集的覆盖范围，包括所有emoji符号😊。这使得生成带有表情符号的文章更加高效。
-
自适应上下文扩展
Atom大模型默认支持4K上下文，利用位置插值PI和Neural Tangent Kernel （NTK）方法，经过微调可以将上下文长度扩增到32K。
📝 中文数据详情如下：
| 类型 | 描述 |
|---|---|
| 网络数据 | 互联网上公开的网络数据，挑选出去重后的高质量中文数据，涉及到百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 |
| Wikipedia | 中文Wikipedia的数据 |
| 悟道 | 中文悟道开源的200G数据 |
| Clue | Clue开放的中文预训练数据，进行清洗后的高质量中文长文本数据 |
| 竞赛数据集 | 近年来中文自然语言处理多任务竞赛数据集，约150个 |
| MNBVC | MNBVC 中清洗出来的部分数据集 |
社区提供预训练版本Atom-7B和基于Atom-7B进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网llama.family。
| 类别 | 模型名称 | 🤗模型加载名称 | 下载地址 |
|---|---|---|---|
| 预训练 | Llama-4-Scout-17B-16E | meta-llama/Llama-4-Scout-17B-16E | HuggingFace |
| 对话模型 | Llama-4-Scout-17B-16E-Instruct | meta-llama/Llama-4-Scout-17B-16E-Instruct | HuggingFace |
| 预训练 | Llama-4-Maverick-17B-128E | meta-llama/Llama-4-Maverick-17B-128E | HuggingFace |
| 对话模型 | Llama-4-Maverick-17B-128E-Instruct | meta-llama/Llama-4-Maverick-17B-128E-Instruct | HuggingFace |
注意：仅保留同等参数量级模型的最新版本。
| 类别 | 模型名称 | 🤗模型加载名称 | 下载地址 |
|---|---|---|---|
| 预训练 | Llama-3.2-1B | meta-llama/Llama-3.2-1B | HuggingFace |
| 对话模型 | Llama-3.2-1B-Instruct | meta-llama/Llama-3.2-1B-Instruct | HuggingFace |
| 预训练 | Llama-3.2-3B | meta-llama/Llama-3.2-3B | HuggingFace |
| 对话模型 | Llama-3.2-3B-Instruct | meta-llama/Llama-3.2-3B-Instruct | HuggingFace |
| 预训练 | Llama-3.1-8B | meta-llama/Llama-3.1-8B | HuggingFace |
| 对话模型 | Llama-3.1-8B-Instruct | meta-llama/Llama-3.1-8B-Instruct | HuggingFace |
| 预训练 | Llama-3.1-70B | meta-llama/Llama-3.1-70B | HuggingFace |
| 对话模型 | Llama-3.3-70B-Instruct | meta-llama/Llama-3.3-70B-Instruct | HuggingFace |
| 预训练 | Llama-3.1-405B | meta-llama/Llama-3.1-405B | HuggingFace |
| 对话模型 | Llama-3.1-405B-Instruct | meta-llama/Llama-3.1-405B-Instruct | HuggingFace |
| 多模态预训练 | Llama-3.2-11B-Vision | meta-llama/Llama-3.2-11B-Vision | HuggingFace |
| 多模态对话模型 | Llama-3.2-11B-Vision-Instruct | meta-llama/Llama-3.2-11B-Vision-Instruct | HuggingFace |
| 多模态预训练 | Llama-3.2-90B-Vision | meta-llama/Llama-3.2-90B-Vision | HuggingFace |
| 多模态对话模型 | Llama-3.2-90B-Vision-Instruct | meta-llama/Llama-3.2-90B-Vision-Instruct | HuggingFace |
| 类别 | 模型名称 | 🤗模型加载名称 | 下载地址 |
|---|---|---|---|
| 对话模型 | Llama3-Chinese-8B-Instruct | FlagAlpha/Llama3-Chinese-8B-Instruct | HuggingFace | modelscope | wisemodel |
| 类别 | 模型名称 | 🤗模型加载名称 | 下载地址 |
|---|---|---|---|
| 预训练 | Llama2-7B | meta-llama/Llama-2-7b-hf | HuggingFace | 迅雷网盘 |
| 预训练 | Llama2-13B | meta-llama/Llama-2-13b-hf | HuggingFace | 迅雷网盘 |
| 预训练 | Llama2-70B | meta-llama/Llama-2-70b-hf | HuggingFace |
| Chat | Llama2-7B-Chat | meta-llama/Llama-2-7b-chat-hf | HuggingFace | 迅雷网盘 |
| Chat | Llama2-13B-Chat | meta-llama/Llama-2-13b-chat-hf | HuggingFace | 迅雷网盘 |
| Chat | Llama2-70B-Chat | meta-llama/Llama-2-70b-chat-hf | HuggingFace | 迅雷网盘 |
| Code | CodeLlama-7b | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-7b-Python | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-7b-Instruct | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-13b | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-13b-Python | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-13b-Instruct | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
| Code | CodeLlama-34b | meta-llama/Llama-2-70b-chat-hf | 迅雷网盘 |
Meta官方在2023年8月24日发布了Code Llama，基于代码数据对Llama2进行了微调，提供三个不同功能的版本：基础模型（Code Llama）、Python专用模型（Code Llama - Python）和指令跟随模型（Code Llama - Instruct），包含7B、13B、34B三种不同参数规模。不同模型能力区别如下表所示：
| 模型类别 | 模型名称 | 代码续写 | 代码填充 | 指令编程 |
|---|---|---|---|---|
| Code Llama | CodeLlama-7b | ✅ | ✅ | ❌ |
| CodeLlama-13b | ✅ | ✅ | ❌ | |
| CodeLlama-34b | ✅ | ❌ | ❌ | |
| Code Llama - Python | CodeLlama-7b-Python | ✅ | ❌ | ❌ |
| CodeLlama-13b-Python | ✅ | ❌ | ❌ | |
| CodeLlama-34b-Python | ✅ | ❌ | ❌ | |
| Code Llama - Instruct | CodeLlama-7b-Instruct | ❌ | ✅ | ✅ |
| CodeLlama-13b-Instruct | ❌ | ✅ | ✅ | |
| CodeLlama-34b-Instruct | ❌ | ❌ | ✅ |
关于Code Llama的详细信息可以参考官方Github仓库codellama。
我们基于中文指令数据集对Llama2-Chat模型进行了微调，使得Llama2模型有着更强的中文对话能力。LoRA参数以及与基础模型合并的参数均已上传至Hugging Face，目前包含7B和13B的模型。
| 类别 | 模型名称 | 🤗模型加载名称 | 基础模型版本 | 下载地址 |
|---|---|---|---|---|
| 合并参数 | Llama2-Chinese-7b-Chat | FlagAlpha/Llama2-Chinese-7b-Chat | meta-llama/Llama-2-7b-chat-hf | HuggingFace |
| 合并参数 | Llama2-Chinese-13b-Chat | FlagAlpha/Llama2-Chinese-13b-Chat | meta-llama/Llama-2-13b-chat-hf | HuggingFace |
| LoRA参数 | Llama2-Chinese-7b-Chat-LoRA | FlagAlpha/Llama2-Chinese-7b-Chat-LoRA | meta-llama/Llama-2-7b-chat-hf | HuggingFace |
| LoRA参数 | Llama2-Chinese-13b-Chat-LoRA | FlagAlpha/Llama2-Chinese-13b-Chat-LoRA | meta-llama/Llama-2-13b-chat-hf | HuggingFace |
你可以选择下面的快速上手的任一种方式，开始使用 Llama 系列模型。推荐使用中文预训练对话模型进行使用，对中文的效果支持更好。
第 0 步：前提条件
- 确保安装了 Python 3.10 以上版本。
第 1 步：准备环境
如需设置环境，安装所需要的软件包，运行下面的命令。
git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
pip install -r requirements.txt第 2 步：下载模型
你可以从以下来源下载Atom-7B-Chat模型。
第 3 步：进行推理
使用Atom-7B-Chat模型进行推理 创建一个名为 quick_start.py 的文件，并将以下内容复制到该文件中。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
device_map = "cuda:0" if torch.cuda.is_available() else "auto"
model = AutoModelForCausalLM.from_pretrained('FlagAlpha/Atom-7B-Chat',device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)
model =model.eval()
tokenizer = AutoTokenizer.from_pretrained('FlagAlpha/Atom-7B-Chat',use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
input_ids = tokenizer(['<s>Human: 介绍一下中国\n</s><s>Assistant: '], return_tensors="pt",add_special_tokens=False).input_ids
if torch.cuda.is_available():
input_ids = input_ids.to('cuda')
generate_input = {
"input_ids":input_ids,
"max_new_tokens":512,
"do_sample":True,
"top_k":50,
"top_p":0.95,
"temperature":0.3,
"repetition_penalty":1.3,
"eos_token_id":tokenizer.eos_token_id,
"bos_token_id":tokenizer.bos_token_id,
"pad_token_id":tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)运行 quick_start.py 代码。
python quick_start.py详情参见：Docker部署
第 1 步：准备docker镜像，通过docker容器启动chat_gradio.py
git clone https://github.com/LlamaFamily/Llama-Chinese.git
cd Llama-Chinese
docker build -f docker/Dockerfile -t flagalpha/llama2-chinese:gradio .第 2 步：通过docker-compose启动chat_gradio
cd Llama-Chinese/docker
docker-compose up -d --build详情参见：使用llama.cpp
基于gradio搭建的问答界面，实现了流式的输出，将下面代码复制到控制台运行，以下代码以Atom-7B-Chat模型为例，不同模型只需修改一下面的model_name_or_path对应的模型名称就好了😊
python examples/chat_gradio.py --model_name_or_path FlagAlpha/Atom-7B-Chat
使用FastChat构建和OpenAI一致的推理服务接口。
第 0 步：前提条件
安装fastchat
pip3 install "fschat[model_worker,webui]"第 1 步：启动Restful API
开启三个控制台分别执行下面的三个命令
- 首先启动controler
python3 -m fastchat.serve.controller \
--host localhost \
--port 21001- 启动模型
CUDA_VISIBLE_DEVICES="0" python3 -m fastchat.serve.model_worker --model-path /path/Atom-7B-Chat \
--host localhost \
--port 21002 \
--worker-address "http://localhost:21002" \
--limit-worker-concurrency 5 \
--stream-interval 2 \
--gpus "1" \
--load-8bit- 启动RESTful API 服务
python3 -m fastchat.serve.openai_api_server \
--host localhost \
--port 21003 \
--controller-address http://localhost:21001第 2 步：测试api服务
执行下面的python代码测试上面部署的api服务
# coding=utf-8
import json
import time
import urllib.request
import sys
import requests
def test_api_server(input_text):
header = {'Content-Type': 'application/json'}
data = {
"messages": [{"role": "system", "content": ""}, {"role": "user", "content": input_text}],
"temperature": 0.3,
"top_p" : 0.95,
"max_tokens": 512,
"model": "LLama2-Chinese-13B",
"stream" : False,
"n" : 1,
"best_of": 1,
"presence_penalty": 1.2,
"frequency_penalty": 0.2,
"top_k": 50,
"use_beam_search": False,
"stop": [],
"ignore_eos" :False,
"logprobs": None
}
response = requests.post(
url='http://127.0.0.1:21003/v1/chat/completions',
headers=header,
data=json.dumps(data).encode('utf-8')
)
result = None
try:
result = json.loads(response.content)
print(json.dumps(data, ensure_ascii=False, indent=2))
print(json.dumps(result, ensure_ascii=False, indent=2))
except Exception as e:
print(e)
return result
if __name__ == "__main__":
test_api_server("如何去北京?")- 首先需要安装ollama工具
安装方法参考：https://ollama.com
- ollama运行Llama3-Chinese-8B-Instruct、Atom-7B-Chat
ollama运行基于Llama3进行中文微调的大模型Llama3-Chinese-8B-Instruct
打开命令行执行命令
ollama run llamafamily/llama3-chinese-8b-instruct
ollama运行基于Llama2进行中文预训练的开源大模型Atom-7B-Chat
打开命令行执行命令
ollama run llamafamily/atom-7b-chat
模型迭代日新月异，虽然Llama2现在使用已经不多，在这里我们还是作为一个学习样例，展示如何做基座模型的预训练与微调。Llama2的预训练数据相对于第一代LLaMA扩大了一倍，但是中文预训练数据的比例依然非常少，仅占0.13%，这也导致了原始Llama2的中文能力较弱。为了能够提升模型的中文能力，可以采用微调和预训练两种路径，其中：
-
微调需要的算力资源少，能够快速实现一个中文Llama的雏形。但缺点也显而易见，只能激发基座模型已有的中文能力，由于Llama2的中文训练数据本身较少，所以能够激发的能力也有限，治标不治本。
-
基于大规模中文语料进行预训练，成本高，不仅需要大规模高质量的中文数据，也需要大规模的算力资源。但是优点也显而易见，就是能从模型底层优化中文能力，真正达到治本的效果，从内核为大模型注入强大的中文能力。
我们为社区提供了Llama模型的预训练代码，以及中文测试语料，更多数据可以参考中文语料。具体代码和配置如下：
- 模型预训练脚本：train/pretrain/pretrain.sh
- 预训练实现代码：train/pretrain/pretrain_clm.py
- DeepSpeed加速：
- 对于单卡训练，可以采用ZeRO-2的方式，参数配置见 train/pretrain/ds_config_zero2.json
- 对于多卡训练，可以采用ZeRO-3的方式，参数配置见 train/pretrain/ds_config_zero3.json
- 训练效果度量指标：train/pretrain/accuracy.py
本仓库中同时提供了LoRA微调和全量参数微调代码，关于LoRA的详细介绍可以参考论文“LoRA: Low-Rank Adaptation of Large Language Models”以及微软Github仓库LoRA。
根据requirements.txt安装对应的环境依赖。
在data目录下提供了一份用于模型sft的数据样例：
- 训练数据：data/train_sft.csv
- 验证数据：data/dev_sft.csv
每个csv文件中包含一列“text”，每一行为一个训练样例，每个训练样例按照以下格式将问题和答案组织为模型输入，您可以按照以下格式自定义训练和验证数据集：
"<s>Human: "+问题+"\n</s><s>Assistant: "+答案+"\n"</s>
例如，
<s>Human: 用一句话描述地球为什么是独一无二的。</s><s>Assistant: 因为地球是目前为止唯一已知存在生命的行星。</s>
LoRA微调脚本见：train/sft/finetune_lora.sh，关于LoRA微调的具体实现代码见train/sft/finetune_clm_lora.py，单机多卡的微调可以通过修改脚本中的--include localhost:0来实现。
全量参数微调脚本见：train/sft/finetune.sh，关于全量参数微调的具体实现代码见train/sft/finetune_clm.py。
基于LoRA微调的模型参数见：基于Llama2的中文微调模型，LoRA参数需要和基础模型参数结合使用。
通过PEFT加载预训练模型参数和微调模型参数，以下示例代码中，base_model_name_or_path为预训练模型参数保存路径，finetune_model_path为微调模型参数保存路径。
import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel,PeftConfig
# 例如: finetune_model_path='FlagAlpha/Llama2-Chinese-7b-Chat-LoRA'
finetune_model_path=''
config = PeftConfig.from_pretrained(finetune_model_path)
# 例如: base_model_name_or_path='meta-llama/Llama-2-7b-chat'
tokenizer = AutoTokenizer.from_pretrained(config.base_model_name_or_path,use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
device_map = "cuda:0" if torch.cuda.is_available() else "auto"
model = AutoModelForCausalLM.from_pretrained(config.base_model_name_or_path,device_map=device_map,torch_dtype=torch.float16,load_in_8bit=True,trust_remote_code=True,use_flash_attention_2=True)
model = PeftModel.from_pretrained(model, finetune_model_path, device_map={"": 0})
model =model.eval()
input_ids = tokenizer(['<s>Human: 介绍一下北京\n</s><s>Assistant: '], return_tensors="pt",add_special_tokens=False).input_ids
if torch.cuda.is_available():
input_ids = input_ids.to('cuda')
generate_input = {
"input_ids":input_ids,
"max_new_tokens":512,
"do_sample":True,
"top_k":50,
"top_p":0.95,
"temperature":0.3,
"repetition_penalty":1.3,
"eos_token_id":tokenizer.eos_token_id,
"bos_token_id":tokenizer.bos_token_id,
"pad_token_id":tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。
我们对中文微调的模型参数进行了量化，方便以更少的计算资源运行。目前已经在Hugging Face上传了13B中文微调模型FlagAlpha/Llama2-Chinese-13b-Chat的4bit压缩版本FlagAlpha/Llama2-Chinese-13b-Chat-4bit，具体调用方式如下：
环境准备：
pip install git+https://github.com/PanQiWei/AutoGPTQ.git
from transformers import AutoTokenizer
from auto_gptq import AutoGPTQForCausalLM
model = AutoGPTQForCausalLM.from_quantized('FlagAlpha/Llama2-Chinese-13b-Chat-4bit', device="cuda:0")
tokenizer = AutoTokenizer.from_pretrained('FlagAlpha/Llama2-Chinese-13b-Chat-4bit',use_fast=False)
input_ids = tokenizer(['<s>Human: 怎么登上火星\n</s><s>Assistant: '], return_tensors="pt",add_special_tokens=False).input_ids.to('cuda')
generate_input = {
"input_ids":input_ids,
"max_new_tokens":512,
"do_sample":True,
"top_k":50,
"top_p":0.95,
"temperature":0.3,
"repetition_penalty":1.3,
"eos_token_id":tokenizer.eos_token_id,
"bos_token_id":tokenizer.bos_token_id,
"pad_token_id":tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)随着大模型参数规模的不断增长，在有限的算力资源下，提升模型的推理速度逐渐变为一个重要的研究方向。常用的推理加速框架包含 lmdeploy、TensorRT-LLM、vLLM和JittorLLMs 等。
TensorRT-LLM由NVIDIA开发，高性能推理框架
详细的推理文档见：inference-speed/GPU/TensorRT-LLM_example
vLLM由加州大学伯克利分校开发，核心技术是PageAttention，吞吐量比HuggingFace Transformers高出24倍。相较与FasterTrainsformer，vLLM更加的简单易用，不需要额外进行模型的转换，支持fp16推理。
详细的推理文档见：inference-speed/GPU/vllm_example
JittorLLMs由非十科技领衔，与清华大学可视媒体研究中心合作研发，通过动态swap机制大幅降低硬件配置要求（减少80%）,并且Jittor框架通过零拷贝技术，大模型加载相比Pytorch开销降低40%，同时，通过元算子自动编译优化，计算性能提升20%以上。
详细的推理文档见：inference-speed/GPU/JittorLLMs
lmdeploy 由上海人工智能实验室开发，推理使用 C++/CUDA，对外提供 python/gRPC/http 接口和 WebUI 界面，支持 tensor parallel 分布式推理、支持 fp16/weight int4/kv cache int8 量化。
详细的推理文档见：inference-speed/GPU/lmdeploy_example
除了持续增强大模型内在的知识储备、通用理解、逻辑推理和想象能力等，未来，我们也会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。 我们首先集成了LangChain框架，可以更方便地基于Llama2开发文档检索、问答机器人和智能体应用等，关于LangChain的更多介绍参见LangChain。
from https://github.com/LlamaChinese/Llama-Chinese
No comments:
Post a Comment