前言

今天为大家带来的是《LORA: LOW-RANK ADAPTATION OF LARGE LAN-GUAGE MODELS》

出版：

时间：2021年10月16日

类型：大语言模型的微调方法

关键词：

作者：Edward Hu, Yelong Shen 等

第一作者机构：Microsoft Corporation

github：https://github.com/microsoft/LoRA

简介

为了降低现有模型在下游任务上的计算成本和时间成本，本文提出一种利用低秩的矩阵的方法，将高维空间映射到低维空间，在减小成本的同时不损失模型表现，下图为常见大语言预训练模型在下游任务