同花顺-圈子

　　经济观察报 社论 陈沛/文 Meta最近发布了新版大语言模型Llama-3，业界认为这个开源模型已经接近了目前领先的闭源模型的性能。

　　从我实际使用体验来看，基于Llama-3的Meta AI产品在对话理解、推理、图像生成等方面并没有明显的短板，生成体验平滑，能够满足日常使用的需求。

　　特别是在最新的Chatbot Arena排行榜上，Llama-3首次进入了排行榜前10，排名第6。其它位列前10名的还包括GPT-4、Claude-3、Gemini-Pro等主流大模型，表明Llama-3的能力已经迈入了第一梯队。

　　Chatbot Arena排行榜的排名机制

　　Chatbot Arena是由斯坦福大学运营的一个大模型对战平台，包括超过40个主流大模型，目前已累计超过70万用户在平台上投过票。

　　该平台的运行方法是随机、匿名选取两个模型。用户可以输入任意提示词，然后由这两个模型同时输出结果。用户在不知道这两个模型名称的情况下，完全根据模型输出质量投票。

　　在用户投票后，平台会采用ELO机制（一种根据玩家实力计算胜负得分的游戏机制）分别计算两个模型的得失分，并揭晓参与对战的两个模型的实际名称。

　　随着投票用户越来越多，各个模型得分的高低便能客观反应出模型的实际能力。因此这个排行榜一直以来都广受关注。

　　排行榜前10名揭示全球大模型竞争格局

　　排行榜前10名大模型分别包括GPT-4模型、Claude-3模型的不同版本，总体上可以分为以下五大类别。

　　1.OpenAI的GPT-4系列。长期以来GPT-4都占据榜首，ChatGPT仍是最受关注的大模型产品，被认为有着广泛的通用知识覆盖和精细的语言理解能力。

　　2.Anthropic的Claude-3系列。Claude-3-Opus曾短暂超越GPT-4登上榜首，在实测中对于深度推理和专业知识的理解非常到位，且对于大模型安全有着深刻见解。

　　3.Google的Gemini系列。Gemini-Pro-1.5的表现已进入第一梯队，而今年AI Index报告认为最高级的Gemini-Ultra的训练成本约是GPT-4的2.5倍，实际表现值得期待，预计将会优先接入Google各项产品中。

　　4.Meta的Llama-3系列。Meta目前坚定走开源路线，Llama系列每次更新都能推动整个生成式AI行业发展。而且背靠一批成熟多模态社交产品，预计Meta AI将快速迭代。随后将发布的最大版本4000亿参数Llama-3，也可能会冲击榜首。

　　5.Cohere的Command-R系列。与上述模型不同，Cohere并未局限于面向用户端的产品，而是专攻企业侧的应用场景，在企业级解决方案和特定行业应用中的实际表现可能更好。

　　总体上来看，虽然目前的OpenAI、Anthropic、Google可被视作“闭源派”，而Meta和Cohere则属于“开源派”，但它们彼此之间实际上是各自为营，各有所长，各有侧重。

　　在领先大模型的第一梯队中，全球生成式AI“五分天下”的格局已经初步形成。