9 月 20 日消息,科技媒体 The Decoder 昨日(9 月 19 日)发布博文,报道称在聊天机器人竞技场(Chatbot Arena)上,OpenAI 的新人工智能模型 o1-preview 和 o1-mini 问鼎榜首。

聊天机器人竞技场简介

聊天机器人竞技场是一个比较人工智能模型的平台,它利用 6000 多个社区评分对新的 OpenAI 系统进行了评估。

结果

结果显示,o1-preview 和 o1-mini 尤其在数学任务、复杂提示和编程方面表现出色。

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务-编程知识网

Lmsys 提供的数学模型优势图表清楚地显示,o1-preview 和 o1-mini 的得分超过 1360 分,远高于其他模型的表现。附上相关截图如下:

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务-编程知识网

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务-编程知识网

OpenAI 再成“榜一大哥”:o1-preview AI 模型更轻松驾驭数学、编程等任务-编程知识网

O1 的目标是为人工智能推理设定一个通用新标准,即在回答前“思考”” 更长时间。

然而,O1 模型并非在所有方面都优于 GPT-4o。许多任务并不需要复杂的逻辑推理,有时 GPT-4o 的反应更快。

注意事项

o1-preview 和 o1-mini 的票数远低于 GPT-4o 或 Anthropic’s Claude 3.5 等成熟模型,每个模型都只有不到 3000 条评论,这样小的样本量可能无法准确代表实际结果,限制结果的意义。