速途元宇宙研究院讯 8月28日,通用大模型测评基准SuperCLUE今日发布了其8月中文大模型榜单。作为中文通用大模型的权威测评,SuperCLUE每月更新一次,本次榜单推出了全新的评测数据集,突显了模型的十大基础能力。
不同于以往,8月的SuperCLUE榜单分为五大部分:总排行榜、OPEN多轮开放问题排行榜、OPT三大能力客观题排行榜、十大基础能力排行榜以及开源排行榜。本次测评选取了16个最具代表性的通用大语言模型,其中包括国外代表性模型如GPT-4.0、Claude2、gpt-3.5以及Llama-2,虽参与对比但不参与排名。
值得注意的是,Baichuan-13B在8月榜单中脱颖而出,凭借其STF迭代优化的第二版,取得了卓越的表现,成功登顶国内大模型评测榜首。这一成绩凸显了Baichuan-13B在高质量数据处理和算法优化方面的出色能力。
Baichuan-13B在知识问答、生成创作领域展现了出色的表现。在开源排行榜中,Baichuan-13B显著超越了Llama-2,彰显了中文领域开源模型的竞争力。
SuperCLUE此次测评揭示出一些重要趋势:国内大模型与国外高参数量大模型(如GPT-3.5/4等)相比,差距在逐步缩小。以Baichuan-13B为代表的国内开源模型在中文领域的竞争力不断提升,已经全面超越了Llama-2。