【ITBEAR科技资讯】5月10日消息，SuperCLUE中文通用大模型综合性评测基准正式发布。该基准旨在针对中文可用的通用大模型，使用多个维度能力进行测试，评估这些模型在不同任务上的效果情况，并与国际上的代表性模型进行比较。
据了解，该评测榜单分为总榜单、基础能力榜单、中文特性榜单三个部分。其中，基础能力榜单包括了常见的有代表性的模型能力，如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力。专业能力榜单则涵盖了中学、大学与专业考试，共计50多项能力。中文特性榜单则针对有中文特点的任务，包括了中文成语、诗歌、文学、字形等10项多种能力。
据ITBEAR科技资讯了解，首次公布的榜单显示，近期发布的星火认知大模型在国内大模型中表现最佳，总分达到53.58分。相较于GPT-4，星火认知大模型的差距达到23个百分点，在总分上与GPT-3.5-turbo相比也有13个百分点的差距。
讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面，已经达到GPT 3.5平齐的水准。在语义理解方面，讯飞星火认知大模型甚至得到了100分的满分，超过了GPT-4。
该评测榜单的发布对于中国大模型的发展具有重要意义，它为评估中文通用大模型提供了重要的参考，同时也为模型的改进提供了指导。在未来，相信中国大模型将继续迎来发展，并在不断提高性能的同时，应用于更多领域，为各行各业的人们带来更好的服务。
