该模型是根据Qwen的模型权重训练的（并且使用了LLaMA2，是的，用于计算一些初始权重），您可能还需要根据情况遵守这两个模型的商业使用限制。训练过程采用与 LLaMA2 相同的模型架构，使用与原始 MHA LLaMA2 模型相同的注意力计算方法，并且没有对旋转位置编码 (RoPE) 应用额外的缩放。
我们利用 Hugging Face 的开源数据集手动整理了 1.3B 代币的 SFT 数据集进行训练。对于大多数句子，我们进行了手动或综合重写，并使用更大的语言模型生成了替代语言版本。此外，我们还使用维基百科中精心挑选的条目、Fandom 中的精选条目和萌娘百科中过滤后的条目进行增强文本训练。为了在效率和质量之间取得平衡，训练所用的数据100%是合成数据，没有直接使用网络文本或公开数据集中的原始文本进行微调。
请注意，该模型是根据未经过滤的互联网数据进行训练的。由于我们没有能力审查所有内容，因此可能存在大量我们无法删除的令人反感的内容、色情、暴力和攻击性语言。因此，您仍然需要自己完成对模型安全性的检查并过滤输出中的关键字。由于计算资源的限制，我们目前无法出于模型的伦理和安全性而实施 RLHF，也无法对拒绝回答某些问题的 SFT 样本进行训练以进行限制性微调。
一、CausalLM 7B的开源地址：
https://github.com/LostRuins/koboldcpp
二、如何使用CausalLM 7B？
1、下载文件、并解压文件
解压到电脑D盘，最好不要有中文路径，会得到以下文件：
.gguf文件：大模型文件
.exe文件：分别对应CPU和GPU的运行文件
2、运行程序
1、以下以GPU版本为例，点击koboldcpp_GPU.exe文件，打开后，得到以下界面：
2、在该界面中，点击launch按钮启动程序。
3、选择模型文件：在弹出的窗口中，选择之前提到的.gguf模型文件。
4、选择模型后，软件会自动在浏览器中打开，可以开始正常使用。
