Low-Rank Adaptation (LoRA) 低秩自适应
·
看到了一篇不错的推文,是讲基座模型微调中一个比较常用的技术:LoRA
LLM Finetuning with LoRA | Sebastian Raschka, PhD
对应arxiv上原文:[2106.09685] LoRA: Low-Rank Adaptation of Large Language Models



原理是权重更新矩阵的矩阵分解(可以好好回顾一下经典机器学习中的主成分分析+奇异值分解部分)



核心在于下面

更多推荐

所有评论(0)