过载保护什么意思(过载)
1、作用在飞机上的气动力和发动机推力的合力与飞机重力之比称为飞机的过载(overload)。2、飞机所能承受过载的大小是衡量飞机机动性的重要参
机器之心报道
机器之心编辑部
(资料图片)
成本虽然高昂,但巨头们更不愿错过这次机会。
近几个月,ChatGPT 爆火出圈,风头无两。人们大多把关注重点放在了 ChatGPT 强大的生成功能和应用场景上,却很少关心模型的应用成本。
虽然 ChatGPT API 开放之后,使用成本降低了九成,但对于 OpenAI 和集成 ChatGPT 的科技公司来说,情况却大不相同。
众所周知,在谷歌搜索的时代,搜索引擎的工作原理是建立巨大的网络索引,在用户进行搜索时,这些索引条目会被扫描、排名和分类,随后结果显示出最相关的条目。谷歌的搜索结果页面实际上会告诉用户搜索所需要的时间(通常不到一秒)。
而 ChatGPT 式的搜索引擎会在每次搜索时启动一个模仿人脑的巨大神经网络,生成一堆文本,可能还会查询大型搜索索引以获取事实信息。这意味着用户与其交互的时间可能远远超过几分之一秒,并且这些额外的处理需要花费更多的成本。
据路透社报道,Alphabet(谷歌的母公司)的董事长 John Hennessy 及几位分析师交谈之后写道:「与 AI 大型语言模型交流询问的成本可能是标准关键字搜索的 10 倍以上」。对于致力于推行 ChatGPT 式搜索引擎的谷歌、微软来说,这可能意味着「数十亿美元的额外成本」。
Alphabet 董事长 John Hennessy。
虽然 ChatGPT 这个研发热点肯定是要跟的,但付出的成本是各家公司能够承担的吗?
微软:上万块 A100,为 OpenAI 造超算
微软的答案是肯定的,而且它还要进一步增加相关的研发投入。
彭博社报道,微软花费了数亿美元为 OpenAI 建造了一台巨大的超级计算机,使用了「成千上万块 GPU」以推动 OpenAI 的 ChatGPT 聊天机器人。
据彭博社获得的回复,微软人工智能和云计算副总裁 Scott Guthrie 说,公司在该项目上花费了数亿美元的资金。虽然这对微软来说可能不值一提,毕竟它最近延长了对 OpenAI 的多年、数十亿美元的投资,但这无疑表明,微软愿意在人工智能领域投入更多资金。
在本周一的博客中,微软介绍了它是如何创建 OpenAI 使用的强大的 Azure 人工智能基础设施,以及其系统如何变得更加强大。
比如微软推出了新的虚拟机 —— 使用英伟达 H100 和 A100 Tensor Core GPU 以及 Quantum-2 InfiniBand 网络,这是两家公司去年就预告过的项目。这将允许 OpenAI 和其他依赖 Azure 的公司训练更大、更复杂的 AI 模型。
「大约五年前,OpenAI 向微软提出了一个大胆的想法,即它可以构建将永远改变人们与计算机交互方式的人工智能系统。」John Roach 写道。
当时,没有人知道这将意味着什么。现在,我们理解了这种设想 ——ChatGPT,并体验到了它的魔力:AI 系统可以创建人们用简单语言描述的任何图片,聊天机器人可以根据少量单词编写说唱歌词、起草电子邮件和规划整个菜单。
像这样的技术,在当时看来未必不可能。只是为了构建它,OpenAI 需要真正大规模的计算能力。
2019 年,微软公司宣布向 OpenAI 投资 10 亿美元,同意为这家 AI 研究初创公司建造一台大规模的前沿超级计算机。当时唯一的问题是:微软没有 OpenAI 所需要的东西,也不完全确定能在自己的 Azure 云服务中建造这么大的东西而不崩溃。现在,这个承诺终于兑现了。
微软表示,为了建立给 OpenAI 项目提供动力的超级计算机,它在 Azure 云计算平台上「将成千上万的英伟达 GPU 连接在一起」。反过来,这使得 OpenAI 能够训练出越来越强大的模型,并「释放出 AI 能力」,比如 ChatGPT 和必应工具。
这些突破的关键是学习如何构建、操作和维护数万个在高吞吐量、低延迟 InfiniBand 网络上相互连接的共置 GPU。这个规模甚至比 GPU 和网络设备供应商测试过的还要大。这是一片未知的领域,没有人确切知道硬件是否可以在不损坏的情况下被推到那么远。为了训练一个大型语言模型,计算工作量被分配到一个集群中的数千个 GPU 上。在计算的某些阶段(称为 allreduce),GPU 会交换有关它们已完成工作的信息。InfiniBand 网络加速了这一阶段,该阶段必须在 GPU 开始下一个计算块之前完成。
「我们看到的是,我们将需要建立专注于实现大型训练工作负载的特殊用途集群,而 OpenAI 是这一点的早期证明之一,」微软 Azure AI 企业副总裁 Eric Boyd 在一份声明中说。「我们与他们紧密合作,了解他们在建立训练环境时寻找的、需要的关键是什么。」
谷歌:加紧内测 Big Bard
相比于微软,谷歌的搜索成本问题无疑更大。微软之所以如此渴望撼动谷歌搜索引擎,部分原因就是在大多数市场份额估计中,必应只占全球搜索市场的 3%,而谷歌约占 93%。搜索是谷歌的主要业务,而微软并不需要担心这一点。
根据 Morgan Stanley 的估算 —— 假设「类 ChatGPT 的 AI 能够用 50 个词(word)的答案处理一半的查询」,谷歌每年的成本将增加 60 亿美元。
有趣的是,谷歌从一开始就对模型规模持谨慎态度。谷歌表示 Bard 聊天机器人最初发布的是 LaMDA 轻量级模型版本,原因是「这个更小的模型需要更少的计算能力,才能够扩展到更多的用户,得到更多的反馈。」要知道这不是谷歌的常见操作,谷歌经常在模型规模方面让其他公司相形见绌,在计算资源方面也是极具优势。「规模」只是谷歌花点钱就能解决的问题,除非成本增加的不是一点半点。
根据 Insider 的最新消息,谷歌正在测试一个名为 Big Bard 的模型,它是 Bard 的高级版本,使用了与 Bard 相同的语言模型 LaMDA。
根据内测示例显示,对于相同的问题,Big Bard 给出了更丰富、更人性化的回答,它通常也更健谈、更随意。不过不是所有员工都可以内测 Big Bard ,它是有限制的,仅供部分员工使用,而 Bard 则对所有谷歌员工开放。
除此以外,Big Bard 使用更大规模的 LaMDA,AI 技术为其聊天机器人提供支持。谷歌表示 Big Bard 是其在布局对话模型计划中的一部分,该计划旨在创建一个通用聊天机器人,可以回答用户在其产品和服务中提出的任何问题或请求。
出于成本考虑,谷歌可能会推出 Bard 的限量版。然而,这场人工智能竞赛并没有放缓的迹象。上周有消息传出,多模态的 GPT-4 将于本周发布。看来微软和谷歌的对打一时半会儿还停不下来。
商业模式如何跑通?
类 ChatGPT 产品能为科技公司带来多大的收益,目前很难衡量。有一个已知的例子,谷歌和亚马逊的语音助手多年来一直保持「以后再想办法」的盈利思路,目前都未能产生利润,而且它们是比 ChatGPT 更受限制的聊天机器人。OpenAI 在开放 ChatGPT API 之后,以 token 为单位收取费用,但这对搜索引擎来说并不适用。
微软方面已经准备「在必应聊天机器人生成的回复中插入广告」,补偿其高昂的服务器运行成本。
在开放 API 之后,越来越多的企业用户将与 OpenAI 合作,将其 ChatGPT 服务集成到自己的产品中。大多数公司使用 ChatGPT 等大型语言模型来帮助客户制作企业博客、营销电子邮件等等,而工作量比以前少得多。然而,这些公司的产品几乎都是给大型语言模型套了一个简单的「外壳」,因此很难实现差异化竞争优势。
实际上,OpenAI 最近还推出了 4 个 GPT-3 模型 ——Davinci、Curie、Babbage 和 Ada。其中 Davinci 是功能最强大的模型,Ada 则是速度最快的。Davinci 被一些公司认为是开发产品的更好选择,它的输出往往比 ChatGPT 的更简洁、更直接,并且在某些类别的 prompt 下也表现更好。而 ChatGPT 在一些关键领域优于 Davinci,包括数学、情绪分析等等。
值得注意的是,OpenAI 为 Davinci API 设置的定价是 ChatGPT 的十倍。因此近几周内,大多数 Davinci 用户可能会涌向 ChatGPT。对于 OpenAI 和其竞争对手(包括 Cohere、AI21、Anthropic、Hugging Face)来说,Davinci 的定价似乎更加合理。至于 ChatGPT,它的超低定价会让行业内的同类产品价格大幅下跌,包括 OpenAI 自己的产品。
将 ChatGPT API 的价格设置得如此低的水平(只有原来的十分之一)之后,很难说 OpenAI 会从 ChatGPT 或其他任何模型中获利还是亏损,因为这些超大规模的模型查询成本非常高。有人猜测:OpenAI 可能已经通过剔除自 11 月首次亮相以来全世界提出的无数 ChatGPT 查询中很少激活的参数,修剪了支持 ChatGPT 的模型以降低模型成本。但这只是一个猜测。
接下来的一段时间,OpenAI 可能会因为 ChatGPT 被大量使用而亏损。这听起来有点反直觉,但大型语言模型的训练和运行成本确实非常高。但对于获得微软 100 亿美元和 GPU 全力支持的 OpenAI 来说,「薄利多销」也能让它比其他竞争对手走得更远。
https://news.microsoft.com/source/features/ai/how-microsofts-bet-on-azure-unlocked-an-ai-revolution/
https://www.bloomberg.com/news/articles/2023-03-13/microsoft-built-an-expensive-supercomputer-to-power-openai-s-chatgpt?srnd=technology-vp#xj4y7vzkg
https://arstechnica.com/gadgets/2023/02/chatgpt-style-search-represents-a-10x-cost-increase-for-google-microsoft/
https://arstechnica.com/gadgets/2023/03/has-the-generative-ai-pricing-collapse-already-started/
https://www.businessinsider.com/google-employees-test-smarter-chatbot-big-bard-2023-3
关键词:
1、作用在飞机上的气动力和发动机推力的合力与飞机重力之比称为飞机的过载(overload)。2、飞机所能承受过载的大小是衡量飞机机动性的重要参
3月13日,北京控股男篮在2022至2023赛季CBA常规赛第34轮中,客场以94比85击败江苏肯帝亚队,止住了此前五连败的颓势,也取得了近18轮比赛以来
1、领导组织传销罪情节严重的认定标准如下:(一)组织、领导的参与传销活动人员累计达一百二十人以上的;(二)直接或者间接收取参与传销活动人员
美股期货盘前上涨投资者评估SVB连锁反应下美联储暂停加息,加息,押注,美联储,美国国债,美股期货,全球股市
又一家银行关门!美国政府紧急承诺!
首届“大戏看北京”展演季圆满收官,超12万观众走进剧场
1、展开3全部可以通过手机来编辑对应的编号和被查询的银行卡账号,发送到95533建设银行的客服号码以后就能够收到
英报告将首提“大陆对台威胁”专家:旨在迎合美国
互联网在提高人们社会活动质量的同时可能对部分互联网使用者造成伤害。我们要正确认识网络的两面性,用其所长、避其所短,发挥网络对生活的积
据美国福克斯新闻网11日报道,华特迪士尼公司首席执行官艾格近期承认,迪士尼乐园门票涨价可能“过于激进”。 艾格9日在一场会议上表示,“
1、讲经说法的高台就是讲台,由来:2、元黄溍《虎丘云岩禅寺兴造记》:“寺则晋王氏昆弟司徒珣、司空珉所施之别
招商银行私人银行的客户标准门槛为每日平均存款1000万元。中国私人银行始于2007年,2007年3月率先提出私人银行。2008年,中国工商银行在金融危
引言曾经有人说过,“一个人的命运,当然要靠个人的努力奋斗,但和历史的进程也是分不开的。”个人生活水平,总是和时代发展相联系,同国家兴
解答:1、最低配置要求操作系统WindowsXPVista系统内存B(XP)B(Vista)处理器InterPentiu
1、门户网站。门户网站是一个综合性的网站,涵盖的领域非常广泛,如新闻、杂志、视频等。2、个人网站。个人网站是以个人名义开
打响“第一枪”!奉贤区老化天然气管网改造工程启动
夏弥来为大家解答以下的问题,亩,说一说亩的简介,现在让我们一起来看看吧!1、亩是中国市制土地面积单位,读音是mǔ,一亩等
1、制冷量为三。2、一般情况下,一台空调一小时的耗电量在两者之间波动。3、制冷量是指空调等冰箱在制冷运行时,单位时间内从
3月10日,高级驾驶辅助系统(ADAS)供应商Mobileye宣布其上海嘉定技术测试中心正式开幕。未来,Mobileye将在嘉定技术测试中心对先进的产品和解
1、《Big角色:《Big简述:《Big。本文到此结束,希望对大家有所帮助。
2月四川工业生产者出厂价格(PPI)同比下降1 1%,3月10日,据国家统计局四川调查总队消息,2023年2月,四川工业生产者价格指数呈下降趋势。具体
夏弥来为大家解答以下的问题,马克斯,说一说马克斯的简介,现在让我们一起来看看吧!1、马克斯·卡尔·恩斯特·路德维希·普朗
1、“日上三竿眠不起”2、出自清代贾凫西的《木皮散人鼓词》3、“日上三竿眠不起”全诗4、《木皮散人鼓词》5、清代
3月10日电,哪吒汽车泰国工厂正式开建,泰国工厂是哪吒汽车首个海外工厂,同时也是中国造车新势力的首个泰国工厂,建成后产能
1、呃……怎么说呢。2、动画系是刚开没多久的一个系,但专业之前就有了。3、我挺喜欢动画系的老师的,系主任是以前教我们的一