基于英文模型增量预训练的中文模型

LLama系列：

llama作为开源社区的宠儿，有许多基于它的中文模型，下面列举比较流行的一些模型

• Chinese llama/Chinese Alpaca：https://github.com/ymcui/Chinese-LLaMA-Alpaca
• Colossal-LLaMA：https://huggingface.co/hpcai-tech/Colossal-LLaMA-2-7b-base
• Atom：https://huggingface.co/FlagAlpha/Atom-7B

如果要学习如何做模型训练，推荐学习Chinese llama项目。如果是要选择强大的中文llama，推荐选Atom。

Mistral系列：

Mistral是超越llama的最强开源模型，由于发布时间晚于llama，因此其中文版本较少。

• openbuddy-mistral：https://huggingface.co/OpenBuddy/openbuddy-mistral-7b-v13-base。openbuddy持续更新了llama、mistral、gemma等模型的中文版本，推荐大家去https://huggingface.co/OpenBuddy找找宝藏。
• Chinese-Mistral：https://huggingface.co/itpossible/Chinese-Mistral-7B-v0.1。这是huggingface最新开源的中文Mistral，其C-Eval、C-MMLU、MMLU分数远高于其他llama、mistral变体。表明该模型同时具有较强的中英文能力。
• JiuZhou：https://huggingface.co/itpossible/JiuZhou-base。该模型的基座模型为Chinese-Mistral，采用大规模中英文地球科学相关语料进行增量预训练，并使用了多种优化方法。由于地球科学是交叉性非常强的学科，因此其C-Eval、C-MMLU、MMLU分数进一步提高。不仅在专业领域表现出较强的知识储备，而且能力泛化到通用领域。C-Eval榜单显示，其中文能力仅次于Chatglm-6B。

如果大家需要选用强大的中文Mistral，推荐选JiuZhou。

从头训练的中文模型

• Qwen系列
• Chatglm系列
• Baichuan系列

后面持续更新