资源受限环境下的模型部署方法和系统
知识产权简介
本发明提供了一种资源受限环境下的模型部署方法和系统，通过联合引入张量库结构与矩阵配对机制，在保证模型表达能力的前提下显著降低参数规模。所构建的压缩模型仅在原有网络结构基础上对全连接层进行重构与替换，不改变整体前向传播逻辑，训练过程简单稳定，且无需额外的大规模计算资源，在普通GPU或高性能个人计算机上即可完成模型训练。张量库的构造及矩阵配对操作计算开销较小，仅涉及标准张量收缩运算，整体推理速度基本保持不变。本发明方法在不同网络规模和不同压缩比例条件下均能保持较高的预测精度，具有良好的通用性和可扩展性，可为资源受限环境下的传统神经网络及大模型部署提供高效的压缩解决方案。
转化前景
本发明引入的矩阵配对机制仅增加常数级计算开销。在实际测试环境下，在传统神经网络上单样本推理时间仅增加微秒级时间差，对整体推理性能影响较小。 本发明结构适用于包含全连接层的各类神经网络模型，不受具体网络规模或结构限制，具有良好的通用性和推广价值，能够为资源受限环境下的模型部署提供有效支持。 本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。