4o“炸裂登场” 响应速度堪比真人 关键还免费!

文章正文
发布时间:2024-05-21 00:53

美西时间5月13日(周一),除尘烟雾收集罩OpenAI首席技术官Mira Murati在备受期待的直播演示中宣布,推出名为GPT-4o的新旗舰AI模型,这是其已经问世一年多的GPT-4模型的更新版本。同时,OpenAI还推出了台式机版本的ChatGPT以及新的用户界面(UI)。

GPT-4o模型基于来自互联网的大量数据进行训练,更擅长处理文本和音频,并且支持50种语言。更值得一提的是,GPT-4o最快可以在232毫秒的时间内响应音频输入,几乎达到了人类的响应水平。

Murati称新模型面向所有人,而不仅仅是付费用户,为“我们的免费用户带来GPT-4级别的智能水平”。不过,GPT-4o的应用程序接口中尚未为所有客户提供语音功能。鉴于滥用风险,OpenAI计划在未来几周内首先向“一小部分可信赖的合作伙伴”推出对GPT-4o新音频功能的支持。

而ChatGPT-4o发布后,网友对其的评价也是褒贬不一。英伟达科学家Jim Fan评论称,“从技术角度来看,总体来说是一个数据和系统优化问题。”有网友也称,感觉到目前为止,OpenAI没有那么开创性,不过也有网友认为,OpenAI进一步拉开了和苹果的差距,现在该轮到苹果的Siri“满头大汗”了。

GPT-4o有多“炸裂”?核心能力有三

GPT-4o中的“o”代表“omni”,意为“全能”。OpenAI官网介绍称,GPT-4o向更自然的人机交互迈进了一步,因为它接受文本、音频和图像的任意组合作为输入内容,并生成文本、音频和图像的任意组合输出内容。

那GPT-4o到底有多强,有哪些核心能力呢?

图片来源:OpenAI官网截图

能力一:“实时”互动,表达富有情感,视觉功能更强

OpenAI表示,GPT-4o显著提升了AI聊天机器人ChatGPT的使用体验。虽然ChatGPT长期支持语音模式,可将ChatGPT的文本转为语音,但GPT-4o在此基础上进行了优化,使用户能够像与助手互动一样自然地使用ChatGPT。

例如,用户现在可以在ChatGPT回答问题时中断它。而且,新模型能够提供“实时”响应,甚至能够捕捉到用户声音中的情感,并以不同的情感风格生成语音,如同真人一般。此外,GPT-4o还增强了ChatGPT的视觉功能。通过照片或屏幕截图,ChatGPT现在可以迅速回答相关问题,从“这段代码是做什么用的”到“这个人穿的是什么品牌的衬衫”。

美国科技媒体Quartz报道称,OpenAI新发布的ChatGPT-4o的技术让人印象深刻。OpenAI的演示表明,机器人现在可以与人类进行实时对话,与真人水平几乎没有区别。如果最终版本像OpenAI官方的演示一样,那么OpenAI似乎已经从某种程度上验证AI将在多大程度上改变我们的世界。

能力二:多语言表现出色,响应速度几乎与真人无异

GPT-4o的多语言功能得到了增强,在50种不同的语言中表现更佳。在OpenAI的API中,GPT-4o的处理速度是GPT-4(特别是 GPT-4 Turbo)的两倍,价格则是GPT-4 Turbo的一半,同时拥有更高的速率限制。

OpenAI官网介绍称,GPT-4o最快可以在232毫秒的时间内响应音频输入,平均响应时间为320毫秒,这与人类在对话中的响应时间相似。它在英语文本和代码方面的性能与GPT-4 Turbo的性能一致,并且在非英语文本方面的性能有了显著提高。

用户只需发出简单的“嘿,ChatGPT”语音提示,即可获得代理的口语回应。然后,用户可以用口语提交查询,并在必要时附上文字、音频或视觉效果——后者可包括照片、手机摄像头的实时画面或代理能“看到”的任何其他内容。

能力三:在推理及音频翻译方面树立新标杆

据OpenAI研究人员William Fedus透露,GPT-4o实际上就是上周在LMSYS模型竞技场上引起整个AI圈疯狂试用的GPT-2模型的另一版本,并附上了GPT-4o的基准测试评分对比图,相比GPT-4 Turbo提升了超过100个单位。

推理能力方面,GPT-4o在MMLU、GPQA、MATH、HumanEval等测试基准上均超越GPT-4 Turbo、Claude 3 Opusn、Gemini Pro 1.5等前沿模型,取得最高分。

图片来源:OpenAI

音频ASR(智能语音识别)性能方面,GPT-4o相比Whisper-v3,在所有语言的语音识别性能上均大幅提高,尤其是资源较少的语言。

图片来源:OpenAI

音频翻译方面,GPT-4o也树立了新的标杆,在MLS基准测试中优于Whisper-v3以及Meta、谷歌的语音模型。

图片来源:OpenAI

评价褒贬不一,有网友认为压力给到Siri了

虽然并未在OpenAI周一的重磅直播演示中现身,但OpenAI的CEO阿尔特曼对这次演示进行了重要的总结。阿尔特曼称,OpenAI在ChatGPT中免费提供了世界上最好的模型,新的语音和视频模式是他用过的最好的计算交互界面,感觉就像电影里的人工智能一样,达到与人类相似的响应速度和表达能力。

目前,GPT-4o的文本和图像功能开始在ChatGPT中免费推出,Plus用户可以享受到5倍的调用额度。在接下来的几周内,OpenAI将在ChatGPT Plus中推出Voice Mode新版本,该版本带有GPT-4o。

而在社交媒体平台X(原推特)上,网友对ChatGPT-4o的评价却褒贬不一。

英伟达科学家Jim Fan评论称,“从技术角度来看,OpenAI已经找到了一种方法,可以将音频直接映射到音频作为一级模态,并将视频实时传输到transformer。这些需要对token化和架构进行一些新的研究,但总体来说是一个数据和系统优化问题(大多数事情都是如此)。”

图片来源:X

对于OpenAI推出的新模型和UI更新,有网友称,感觉到目前为止OpenAI没有那么开创性。

图片来源:X

也有网友指出,GPT-4o不仅可以将语音转换为文本,还可以理解和标记音频的其他特征,例如呼吸和情感,但不确定这在模型响应中是如何表达的。

图片来源:X

但大部分网友还是给出了非常积极的看法。

对于阿尔特曼在X上留下的一句“her”,这似乎是暗示ChatGPT实现了经典电影《她》(Her)中像人类一样“有血有肉”的AI,有网友对此评论:“你终于做到了。”并配了一张将电影《她》剧照中的AI“换头”成OpenAI的梗图。

图片来源:X

图片来源:X

另有网友评价称,“这太疯狂了。OpenAI刚刚推出了ChatGPT- 4o,它将彻底改变人工智能助手的竞赛,”该网友还列举了10个ChatGPT- 4o“疯狂”的案例,例如实时视觉辅助等等。

图片来源:X

还有网友以可汗学院的可汗和他儿子一起使用 GPT-4o 辅导孩子在可汗学院上做数学题的示例点评称,“学生将他们的iPad屏幕与新的ChatGPT-4+GPT-4o共享,AI与他们交谈并帮助他们‘实时’学习。想象一下,如果世界上每一个学生都能这样学习,未来是如此光明。”

图片来源:X

也有网友觉得OpenAI进一步拉开了和苹果的差距,还发了一张人满头大汗的动图,称现在苹果的语音助手Siri现在应该就是这个样子。

图片来源:X

对于这点,Quartz报道称,GPT-4o的情感属性使AI聊天机器人比苹果的Siri更加个性化。Siri给人的感觉就像在和一个机器人对话,但OpenAI的演示清楚地表明,GPT-4o具有“人工情感智能”,能够识别用户的情感并与你的情绪相匹配。这让GPT-4o感觉就像一个真正的伴侣,为用户的智能手机操作系统增添了一丝人性。

实际上,为了应对技术威胁,苹果也在与OpenAI进行合作洽谈。Wedbush分析师Dan Ives在一份报告中预计,苹果将在6月10日的WWDC大会上官宣和OpenAI的合作伙伴关系,并推出基于苹果LLM的AI聊天机器人。