面向混合负载的存储数据缩减方法及系统
知识产权简介
本发明公开了一种面向混合负载的存储数据缩减系统，该系统包含一个数据类型鉴别模块，一个模型数据处理模块以及一个非模型数据处理模块。本发明在类型鉴别模块中设置了一种基于数据块数值特征的轻量级抽样检测方法，实现了对模型数据块与非模型数据块的准确鉴别；在模型数据处理模块中，针对模型数据块设置了专用编码技术，提升模型数据的可压缩性；针对非模型数据块设置了细粒度冗余识别与消除技术，提升去重率；实现了混合数据负载下的差异化高效处理。
转化前景
本发明的目的在于解决现有数据缩减技术因模型数据激增与数据块大块化所导致的去重与压缩效率急剧下降的问题，提供一种面向混合负载的存储数据缩减系统。该系统通过构建精准的类型鉴别与差异化的处理流水线，克服了现有单一优化方案在混合负载下适应性差、相互干扰的缺陷，能够为现代云存储提供高效益的通用数据缩减服务。经测试，本发明提出的方法在混合负载场景下的数据去重率比传统去重压缩方法提升20%～30%，并随模型数据占比增加而展现出持续优势。本发明解决了现有技术因模型数据激增和数据块大块化导致的传统去重压缩机制失效问题，有效应对了云存储混合负载下的数据缩减挑战，具备一定的创新性和实际应用价值。