看到了一篇不错的推文,是讲基座模型微调中一个比较常用的技术:LoRA

LLM Finetuning with LoRA | Sebastian Raschka, PhD

对应arxiv上原文:[2106.09685] LoRA: Low-Rank Adaptation of Large Language Models

原理是权重更新矩阵的矩阵分解(可以好好回顾一下经典机器学习中的主成分分析+奇异值分解部分)

核心在于下面

Logo

智能硬件社区聚焦AI智能硬件技术生态,汇聚嵌入式AI、物联网硬件开发者,打造交流分享平台,同步全国赛事资讯、开展 OPC 核心人才招募,助力技术落地与开发者成长。

更多推荐