OpenAI深夜炸场!最强模型GPT-4o完全免费,实时语音视频交互震撼世界|钛媒体AGI

更新时间:2024-05-14 17:58:05作者:无忧百科

OpenAI深夜炸场!最强模型GPT-4o完全免费,实时语音视频交互震撼世界|钛媒体AGI


(图片来源:OpenAI官网)

迎来了一个全新的里程碑。

北京时间5月14日凌晨,美国OpenAI公司推出可免费使用的全新旗舰AI模型GPT-4o,并将推出PC桌面版ChatGPT。

OpenAI首席技术官米拉·穆拉蒂 (Mira Murati)表示,GPT-4o里的“o”是Omni(全能模型)的缩写,可实时进行音频、视觉和文本推理,它可以在短至232毫秒、平均320毫秒的时间内响应音频输入,与人类在对话中的反应速度一致

米拉·穆拉蒂指出,在API使用方面,相比去年11月发布的GPT-4-turbo,GPT-4o价格降低一半(50%),速度提升两倍(200%)。

这个深夜,OpenAI不止成功在15日I/O开发者大会之前抢夺谷歌风头,而且新的大模型交互体验正颠覆世界。

GPT-4o新模型自今早起陆续推出,付费版本用户今天就能看到GPT-4o新模型提示,甚至今晨GPT-4o消息都是实时展示。


OpenAI CEO奥尔特曼(Sam Altman)发实时推文表示,新的GPT-4o是OpenAI有史以来最好的模型,它很智能,速度很快,是原生多模态,并且它可供所有ChatGPT用户使用,无论是免费版本还是付费GPT-4版

“这对我们的使命很重要,我们希望将出色的 AI 工具交到每个人手中。”奥尔特曼表示。

OpenAI联合创始人兼总裁格雷格·布罗克曼(Greg Brockman)发GPT-4o介绍视频中表示,这是OpenAI朝着更自然的人机交互(甚至人机-计算机交互)形式迈出的重要一步。

发布之后,网友:它是不是完全可以替盲人看世界了?OpenAI要颠覆世界了?为外语行业默哀。

凌晨仅仅26分钟的发布会,打响了这个5月全球 AI“军备竞赛”。同时,GPT-4o的发布,或将颠覆外语、实时翻译、音视频剪辑等众多行业。

ChatGPT狂飙530天,OpenAI持续发力通用大模型

随着2022年底 AI 聊天机器人ChatGPT风靡全球,掀起新一轮AIGC浪潮。过去530天里,研发ChatGPT背后的OpenAI公司身处聚光灯下,并迅速成长为860亿美金估值的 AI 独角兽。

英伟达CEO黄仁勋曾表示,ChatGPT的出现是 AI 的“iPhone时刻”。

2023年3月,OpenAI推出多模态大模型GPT-4,不仅理解能力、可靠性和长文本技术能力全面增强,且具备图像处理。而且在专业基准测试中,GPT-4表现近似于人类的水平,如模拟律师考试得分能排到前10%左右,击败90%的人类。

随后,OpenAI升级ChatGPT付费版本,每月达20美元;5月,OpenAI陆续推出iOS、安卓版ChatGPT应用,下载量已突破1.1 亿次,移动端应用收入近3000万美元;8月,企业版ChatGPT发布,性能比标准GPT-4快两倍。

2023年11月,OpenAI发布最强模型GPT-4 Turbo,提供强大上下文理解能力,支持12.8万个token,并且公布自定义大模型的GPTs、GPT Store等众多产品。然而,仅仅两周后,OpenAI突发高层“大地震”,奥尔特曼遭遇“乌龙”式罢免,五天后最终得以重掌公司大权,并组建董事会。112天后,OpenAI董事会放心表态:对Sam Altman和Greg Brockman继续领导OpenAI充满信心。

据公开数据显示,整个2023年,在奥尔特曼带领下,OpenAI年化收入已经超过20亿美元,同比增长4500%以上,跻身于历史增长最快的科技公司之列。

进入2024年,OpenAI持续“狂飙”:

此次发布会之前,关于OpenAI 新品传闻甚嚣尘上,不仅包括性能超级强大的GPT-5,而且还传有对标谷歌的 AI 搜索引擎产品,以及与苹果合作研发的 AI 语音生成产品等,引发众多关注。

然而,奥尔特曼发推文称,此次公布的不是GPT-5,也不是 AI 搜索引擎,而是开发的一些“我们认为人们会喜欢的新东西”。

如今,目前全球最强的 AI 大模型GPT-4o登场。


米拉·穆拉蒂透露,目前有1亿多用户使用ChatGPT创造工作、学习,有100多万开发者在GPTs上创造新的工具。

OpenAI表示,GPT-4o(“o”代表“omni”)是迈向更自然的人机交互的一步——它接受文本、音频和图像的任意组合作为输入,并生成文本、音频和图像的任意组合输出。

GPT-4o可以在短至 232 毫秒的时间内响应音频输入,平均为 320 毫秒,与人类的响应时间相似。它在英语文本和代码上的性能与 GPT-4 Turbo 的性能相匹配,在非英语文本上的性能显着提高,同时 API 的速度也更快,成本降低了 50%。与现有模型相比,GPT-4o 在视觉和音频理解方面尤其出色。

需要指出的是,GPT-4o就是之前在LMSys竞赛中测试的一个版本,当时名为“im-also-a-good-gpt2-chatbot”,性能远超GPT-4 Turbo、GPT-4、Gemini等模型,再次刷新业界水平。


具体来说,GPT-4o主要特色分为四部分:模型能力、基准测试、模型安全性和局限性,以及模型何时可用。

其中,模型能力上,在GPT-4o之前,ChatGPT语音模式对话的平均延迟为 2.8 秒 (GPT-3.5) 和 5.4 秒 (GPT-4)。而当时,为了解决语音模式问题,就形成了三个独立模型组成的管道,但OpenAI团队发现,这个过程当中的主要智能来源GPT-4丢失了大量音调、噪音、情感等信息。如今借助 GPT-4o,OpenAI跨文本、视觉和音频端到端地训练了一个新模型,这意味着所有输入和输出都由同一神经网络处理。


OpenAI也举出多个例子,整体来说其具有更高的连贯性、精准度,以及更快的反馈速度。

传统基准测试层面,GPT-4o 在文本、推理和编码智能方面实现了 GPT-4 Turbo 级别的性能,同时在多语言、音频和视觉功能上均处于高位。在5次MMLU(常识问题) 上,GPT-4o创下了87.2%的新高分,远超谷歌Gemini Pro 1.5、Ultra 1.0,以及自己的GPT-4T和GPT-4等。


而在语言标记化上,GPT-4o在20种语言中,实现新分词器跨不同语系压缩,压缩规模超过50%。

模型安全性和局限性上,GPT-4o 通过过滤训练数据和通过训练后细化模型行为等技术,在跨模式设计中内置了安全性。以及创建了新的安全系统,为语音输出提供防护。根据对网络安全、CBRN、说服力和模型自主性的评估表明,GPT-4o 在这些类别中的任何类别中的得分都不高于中等风险,而且团队继续降低发现的新风险。

那么,何时可用GPT-4o?主要有四个时间点:

此外,OpenAI今天还宣布,免费向所有用户开放其 GPT 商店,包括创建自定义 GPT 的能力,以及即将推出ChatGPT桌面版本。

OpenAI强调,GPT-4o是OpenAI突破深度学习界限的最新举措,也是朝着实用性方向发展的重要一步。

从通用走向聚焦,下一步大模型重塑谷歌搜索引擎?

发布会召开前夕,360公司董事长周鸿祎就表示,以ChatGPT为代表的大模型在完全没有突破AGI(通用人工智能)能力情况下情况比较尴尬,目前能力在很多场景下无法给用户满意的答案,所以反而导致其在产品场景方面好像什么都能干,实际上很多事都干不了。同时,以perplexity为代表的AI搜索恰恰是“反其道而行之”,以搜索为场景,用大模型来重塑搜索的体验。

周鸿祎强调,大模型未来需要“场景的搜索”和“聚焦”,通过专用大模型可解决用户痛点或刚需,这存在巨大机遇,在GPT强大能力下重新定义场景,并找新产品出路,这或许是大模型发展的长期、正确方向。

实际上,OpenAI目前面临着流量增长乏力的局面。

自去年ChatGPT推出后,在2023年5月达到流量峰值,网络访问量达到18亿次,但之后流量出现下滑情况。2024年3月,ChatGPT的访问量依然稳定在了18亿次,不再有明显增长。

如今,OpenAI已聚焦到音视频、终端和搜索场景。此次现场环境和演示当中,OpenAI重点突出了端侧模型和代码生成能力等场景化应用。

值得一提的是,在此之前,前加拿大魁北克省人工智能研究中心(Mila)研究员、麻省理工学院讲师Lior S也在社交平台X上爆料称:OpenAI最新的 SSL证书日志显示,OpenAI已经创建了search.chatgpt.com子域名。

“OpenAI即将追赶谷歌搜索,这可能是谷歌有史以来面临的最大的威胁。”Lior S说。

随着5月14日谷歌举行I/O开发者大会,因此,一旦未来ChatGPT Search AI搜索产品发布,或将会冲击到谷歌搜索业务——如今市场占有率高达90%。

周鸿祎认为,未来OpenAI一定会诞生 AI 搜索类型的产品。

截至目前,OpenAI 方面对此拒绝置评。

早前奥尔特曼称,未来的AI发展不应是一场数据和算力的军备竞赛,真正的突破需要在算法效率、芯片性能、能源供给等方面取得根本性进展。OpenAI期待在算法上实现重大创新,以提高模型的运行效率。他透露,OpenAI计划在2024年夏天推出更先进的GPT-5模型。

值得注意的是,发布会结束后,奥尔特曼发布了一条博客,来阐述他对GPT-4o的看法。

“我为我们能在ChatGPT中免费提供世界上最先进的模型感到非常自豪,这一切都没有广告或其他干扰。最初,OpenAI的设想是开发AI技术,并利用它为全球带来益处。然而,现实是我们开发了AI技术,而其他人则利用这些技术创造了令全世界受益的杰出成果。作为一家企业,我们有很多服务是需要收费的,但不妨碍我们支持向全球数十亿用户提供免费的顶尖AI服务。”奥尔特曼称。


他认为,这是用最低的价格甚至是免费,将最好的模型提供给世界上所有人。同时达到与人类相似的响应速度和表达能力,标志着一个重大的转变,并预见到一个激动人心的未来。

“新推出的语音(及视频)模式是我使用过的最佳计算界面。它给人一种电影中AI的感觉,让人不禁惊叹这竟是真的。达到与人类相似的响应速度和表达能力,标志着一个重大的转变。最初的ChatGPT已经展示了语言界面的潜力;而这一新技术则在体验上有了质的飞跃。它反应迅速、智能、有趣、自然且实用。以前,我与计算机对话从未感觉如此自然;但现在,我终于有了这种感觉。随着我们逐步增加个性化选项、获取个人信息的权限、代表用户执行操作的能力等功能,我真的可以预见到一个激动人心的未来:我们能够利用计算机完成以往无法想象的更多事务。”奥尔特曼在博客中指出。

针对OpenAI技术的不断更迭是否影响中国大模型发展,5月13日,创新工场董事长兼CEO、零一万物CEO李开复向钛媒体App表示,零一万物的新模型Yi-XLarge MoE已训练一半,之后会朝着美国大模型继续进步。

“我们不能保证一定赶上它(美国模型)、超过它,或者gap有多少,但是我们用适合我们的方法快速推进,既然我们不能用10万张GPU来训练,我们就会寻找别的方式,依然能做出非常好的效果。”李开复表示。

科大讯飞董事长刘庆峰曾透露,目前中美大模型差距在一年至1.5年左右。

(本文首发于钛媒体App,作者|林志佳,编辑|胡润峰)

为您推荐

OpenAI深夜炸场!最强模型GPT-4o完全免费,实时语音视频交互震撼世界|钛媒体AGI

OpenAI深夜炸场!最强模型GPT-4o完全免费,实时语音视频交互震撼世界|钛媒体AGI,谷歌,钛媒体,周鸿祎,李开复,人工智能,插件功能,gpt-4,openai

2024-05-14 17:58

更快更薄!新款iPad Pro能否帮助苹果(AAPL.US)逆转颓势?

更快更薄!新款iPad Pro能否帮助苹果(AAPL.US)逆转颓势?,平板电脑,oled,苹果公司,财务会计,财务报表,屏幕尺寸,iphone,ipad pro

2024-05-14 17:58

旗下第一款“相机”,vivo X100 Ultra 手机亮相

旗下第一款“相机”,vivo X100 Ultra 手机亮相,手机,相机,蔡司,新标杆,vivo,x100,ultra

2024-05-14 17:57

OpenAI 发布 GPT-4o;苹果将在中法德日销售 Vision Pro;特斯拉重招 4 月被解雇的超充员工|极客早知道

OpenAI 发布 GPT-4o;苹果将在中法德日销售 Vision Pro;特斯拉重招 4 月被解雇的超充员工|极客早知道,谷歌,微软,电动车,苹果公司,财务会计,财务报表,科技巨头,gpt-4,openai,埃隆_马斯克,特斯拉(公司)

2024-05-14 17:57

“全世界最美球场”的主人,时隔21年重回意甲!

“全世界最美球场”的主人,时隔21年重回意甲!,意乙,意甲,亨利,摩纳哥,英格兰,科莫

2024-05-14 17:54

德聚技术股权较平均,销售费用率高,边理财分红边补流

德聚技术股权较平均,销售费用率高,边理财分红边补流,股权,半导体,胶粘剂,德聚技术

2024-05-14 17:52