GPT 4o Archives - 光年AI

新王登基，Gemini 1.5 Pro 再度更新，超越 GPT 4o 和 Claude-3.5

作者丨刘洁编辑丨岑峰 lmsys官方在推特发布一则消息，恭喜DeepMind研发的Gemini 1.5 Pro 实验版（0801）在Chatbot Arena排名登顶，超越GPT 4o和Claude-3.5夺得第一。这是继今年3月Claude 3 “超大杯”Opus版本短暂超越GPT-4以来，OpenAI第二次让出Chatbot Arena的Overall ranking宝座。（正如我们前天说的，越来越多的大模型向OpenAI发起了冲击） Gemini 1.5 Pro 实验版（0801）在Chatbot Arena测试一周后。获得了超过12，000个社区投票，在Chatbot Arena和Vision Leaderboard排名上均取得了第一名的好成绩。之前说GPT-4o有刷分技巧，现在看起来Gemini 1.5 Pro可能也学到了这个技巧呢。 Gemini 1.5 Pro 实验版（0801）不仅在综合表现上极为突出，在各个细分领域上也有着出色的表现。它在数学方面排名前三，指令遵循排名前二，编码排名前五，硬提示（英语）排名前五。 Gemini 1.5 Pro 实验版（0801）具有强大的多语言能力，在中文、日语、德语、俄语方面均表现第一。从总体胜率图上，也能看出Gemini 1.5 Pro 实验版（0801）实力强劲，对阵 GPT-4o 的胜率为 54%，对阵 Claude-3.5-Sonnet 的胜率为 59%。前OpenAI的开发者，现Google AI Studio的产品负责人Logan Kilpatrick火速转发，向大家宣布Gemini 1.5 Pro 实验版（0801）目前在 LMSYS 的文本和多模式排名中均位居第一的好消息。 DeepMind的CEO Demis Hassabis也转发了这条消息，祝贺Gemini 1.5 Pro 实验版（0801）能够在极具竞争力的榜单中拿下第一，并且宣布这一版本的已经可以在 AI Studio上进行试用。带领研发Gemini的Jeff Dean也随后转发，对此次实验版本的Gemini 1.5 Pro突破1300+elo分数拿下排名第一的好消息感到非常自豪，也很期待未来能看到其他更好的模型。听闻这则消息，其他从业人员也纷纷发来祝贺。也有不少人分享自己的试用体验。大神elvis对在聊天机器人领域超越了 GPT-4o 和 Claude 3.5 Sonnet的Gemini 1.5 Pro非常感兴趣。elvis分享了自己的测试全过程视频，并总结道，Gemini 1.5 Pro强大的图像和PDF提取能力给他留下了深刻的印象，Gemini 1.5 Pro有着和GPT-4o不相上下的视觉能力，也有Claude 3.5 Sonnet接近的代码生成及PDF理解/推理能力。有人认为Gemini 1.5 Pro在解决高级数学难题方面表现相当不错。也有人说Gemini 1.5 Pro在图像识别植物和动物方面做得确实要比GPT 4o更好。也有更多的人在期待Gemini 1.5 Pro这一版本的正式上线，希望能够API实现Gemini 1.5 Pro的实际运用。参考材料: https://x.com/lmsysorg/status/1819048821294547441 https://x.com/OfficialLoganK/status/1819049322295533684 https://x.com/demishassabis/status/1819085274917622198 https://x.com/JeffDean/status/1819121162578022849 https://x.com/omarsar0/status/1819162249593840110