Soup CLI

在 4GB 笔记本电脑 GPU 上微调 8B LLM

开发者工具人工智能GitHub开源

▲ 0 票1 评论发布 2026年8月9日

今日 #6本周 #125

LoRa 将基础模型冻结：只读，不写。因此，Soup 将其保存在系统内存中，并逐层解码器地将其流式传输到 GPU。峰值显存占用量仅为一个解码器层，而非整个模型。在配备 4GB 显存的 RTX 3050 笔记本电脑上进行测试：Llama-3.1-8B 的训练速度为 119.6 tok/s，峰值显存占用为 3.32 GB。仅需一个 YAML 文件和一个命令。支持 SFT、DPO、GRPO、KTO，以及评估、门控和导出功能。使用 Apache 2.0 协议。所有数据均已公布，包括我测量后舍弃的数据。