CausalLM

该模型是根据Qwen的模型权重训练的（并且使用了LLaMA2，是的，用于计算一些初始权重），您可能还需要根据情况遵守这两个模型的商业使用限制。训练过程采用与 LLaMA2 相同的模型架构，使用与原始 MHA LLaMA2 模型相同的注意力计算方法，并且没有对旋转位置编码 (RoPE) 应用额外的缩放。 我们利用 Hugging Face 的开源数据集手动整理了 1.3B 代币的 SFT 数据集进行…