📝 共有

• 第一行
• 语言：用于选择页面显示是中文还是英文。博主这里选择中文。
• 模型名称：我们微调模型的官方名称，从这里可以看到该框架都支持哪些模型微调。
• 模型路径：本地已下载模型存放的路径（或者不需要指定，框架自动帮你下载。）

• 第二行
• 微调方法：全参微调、冻结微调和lora微调三种。
• 检查点路径（在不同模块具有不同的作用）：
• Train：防止意外发生中断模型训练后重新训练。如果意外中断模型，我们可以将已经训练好的checkpoint路径填入其中，继续训练。
• Evaluate&Predict：填入最终微调好的模型路径，可以静进行评估和预测。如果没有则加载第一行提供路径的模型，进行评估和预测。
• Chat：填入最终微调好的模型路径，可以静进行聊天测试。如果没有则加载第一行提供路径的模型，进行聊天测试。
• Export：将微调好的模型Lora参数于base模型的权重进行合并。如果没有，则加载第一行提供路径的模型，进行量化操作。

• 第三行
• 量化等级：这里是指QLora操作。如果你想一边进行lora微调一边进行量化可以设置。
• 量化方法：这里可以选择你想用什么库进行量化。
• 对话模版：当你在第一行选择了模型名称后，这里便会自动填充，不需要自己选择。
• RoPE插值方法：如果有需要可以点开自行选择。
• 加速方式：这里可以选择你想用什么库进行加速。

🤗 分块

Train

• 第一行
• 训练阶段：有监督微调、强化学习微调等等。选择微调的方式。
• 数据路径：不需要修改保持原样。
• 数据集：LlaMA-Factory框架会主动解锁数据路径下有哪些数据集。博主这里选择的是一个身份认证数据集和单轮对话问答数据集。
• 预览数据集：点击该按钮会有一个弹窗，你可以看到加载数据的内容。

• 第二行
• 最大梯度范数：用于梯度裁剪，当梯度大于1时将其裁剪为1。

• 第三行
• 截断长度：输入模型最大的token长度。
• 梯度累积：每迭代多少个batch进行一次梯度回传。

• 第四行
• 日志间隔：每隔多少个steps将训练结果输出，也可以理解为日志更新。
• 保存间隔：两个checkpoint间隔步数。简单理解为：每隔多少步数保存一次模型。

• 第五行
主要用于解冻部分模型参数参与微调，

• 第六行
lora微调参数设置。

Evaluate&Predict

• 第三行
• 最大生成长度：允许模型生成的最大token数量。

Chat

Export

• 合并参数
需要将lora微调好的模型路径添加到共有模块的第二行。然后，在导出目录添加导出模型路径。

• 量化模型
如果你想量化模型，那么不要在共有模块第二行路径添加任何内容。同时，你想量化lora微调好的模型，请你必须先合并参数。
共有模块设置好后：
• 第一行
• 最大分快大小：如果你的模型特别大想要分块保存，那么这里便是指每一块模型的大小。
• 导出量等级：选择想要量化的比特数。
• 导出设备：一般设置成auto即可。如果有CPU需求，可以设置成CPU。
最后，导出目录设置路径。