面向边缘实现的大语言模型轻量化微调系统及方法
知识产权简介
本发明提供了一种面向边缘实现的大语言模型轻量化微调系统及方法，采用张量链式分（Tensor Train, TT）对大模型微调过程中的更新权重进行高阶张量压缩，并联合幅度方向解耦更新机制、双阶段量化、自适应优化策略和知识蒸馏构建面向端侧的轻量化微调框架，因此欲保护的点为在对模型进行参数高效微调时，采用TT分解与解耦更新相结合的方法来降低可训练参数量和存储开销、提升极低参数预算下的微调精度与训练稳定性。
转化前景
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。