近日,商业信息查询平台天眼查披露了一项引人注目的专利授权信息。据悉,与知名人物Kimi有所关联的北京月之暗面科技有限公司,成功获得了一项名为“一种大语言推理系统及方法”的专利授权。
这项专利的核心内容,围绕一种创新的大语言推理系统展开。该系统巧妙地融合了多个关键组件,包括至少一个预填充计算单元、生成计算单元以及缓存单元,共同协作以优化语言推理过程。
具体而言,预填充计算单元扮演着至关重要的角色。它能够根据当前的推理请求以及过往的推理资源,进行智能化的预填充操作,从而生成当前推理所需的数据,并将这些数据分别传递给生成计算单元和缓存单元。
生成计算单元接收到这些数据后,便开始发挥其核心作用。它利用预设的大语言模型,对当前推理数据进行深度分析,并据此生成当前结果字。随后,这些结果字被进一步加工成完整的推理结果,并发送至缓存单元存储,同时,当前结果字也被直接输出至用户端,以供查看。
缓存单元在整个系统中同样不可或缺。它不仅负责保存当前的推理数据、推理请求以及推理结果,还能够根据推理请求的快速访问需求,提供高效的数据检索服务,进一步提升了系统的整体性能。
值得注意的是,这项专利所提出的技术方案,旨在显著减少推理过程中的计算量,从而在保证推理效率的同时,大幅提升推理结果自然语言的流畅性与连续性。这无疑为人工智能领域的大语言推理技术,带来了新的突破和发展方向。