ITBear旗下自媒体矩阵:

华为新专利:AI模型量化技术,助力内存占用大幅缩减

   时间:2025-02-07 13:00:58 来源:ITBEAR编辑:快讯团队 发表评论无障碍通道

华为技术有限公司在人工智能领域再添新专利,一项名为“人工智能模型的量化方法、处理系统和量化单元”的专利近日正式公布。该专利揭示了华为在优化AI模型运行效率方面的又一重要进展。

据专利摘要介绍,该量化方法的核心在于量化单元能够智能地根据运行AI模型的计算设备的不同计算单元处理粒度,将量化矩阵分割成多个适配的分块量化矩阵。这一过程不仅精细且高效,能够大幅度减少AI模型对内存的占用。无论是权重矩阵还是激活矩阵,量化单元都能基于计算设备的实际处理能力进行实时量化,无需依赖传统的张量级别离群值统计。

进一步地,量化单元会对这些分块量化矩阵进行量化处理,并将处理后的结果存储在存储器中。这一创新不仅优化了AI模型的内存使用,还提升了整体运行效率,为AI技术在更多场景下的应用提供了有力支持。

华为在数据处理方法及相关设备方面也取得了新突破。国家知识产权局信息显示,华为于2024年9月申请了一项名为“一种数据处理方法及相关设备”的专利,并于今年1月底公布相关信息。该专利旨在降低模型训练过程中的存储空间开销,同时提升模型训练性能。

具体而言,该专利提出了一种创新的数据处理方法。在这一过程中,第一装置利用神经网络模型对第一数据进行前向计算,得到第二数据。随后,该装置对第二数据进行量化处理,得到位数更少的第三数据。这一量化步骤有效降低了数据的存储需求。最终,第一装置保存这些量化后的第三数据,这些数据将在后续的第一模型反向计算中发挥关键作用。

华为在人工智能领域的持续创新,不仅体现了其在技术研发上的深厚实力,也为推动AI技术的广泛应用和发展做出了重要贡献。随着这些新专利的实施和应用,我们有理由相信,华为将在人工智能领域取得更多突破性的成果。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  RSS订阅  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version