Cohere 发布仅需两块 GPU 的低成本 AI 模型

1个月前 科技 13观看
摘要 人工智能初创公司 Cohere Inc. 今日发布了其最新的大语言模型 Command A,该模型能够以最少的硬件需求满足企业的高性能需求,相比竞争对手的 AI 模型具有明显优势。这家初创公司宣称,该大语言模

人工智能初创公司 Cohere Inc. 今日发布了其最新的大语言模型 Command A,该模型能够以最少的硬件需求满足企业的高性能需求,相比竞争对手的 AI 模型具有明显优势。5tg喜好网-记录每日喜好的科技时尚娱乐生活

这家初创公司宣称,该大语言模型的性能超过了领先的专有和开源模型,如 OpenAI GPT-4o 和 DeepSeek-V3。公司还表示,在私有部署环境中,该模型只需要两块 Nvidia 的 A100 或 H100 GPU 就能运行,而竞争对手的模型可能需要多达 32 块。5tg喜好网-记录每日喜好的科技时尚娱乐生活

这种规模差异非常重要,因为金融和医疗保健等需要内部部署的客户,通常必须将其 AI 模型部署在防火墙内。这意味着他们需要购买昂贵的 AI 加速硬件,并且必须拥有能在企业内部环境中运行的高性能模型。5tg喜好网-记录每日喜好的科技时尚娱乐生活

Cohere 表示:"在商业、STEM 和编程任务的人工评估对比中,Command A 与其体量更大、速度更慢的竞争对手相比,表现相当或更优——同时提供更高的吞吐量和更好的效率。"具体而言,Command A 的 token 生成速率可达到 156 tokens/秒,比 GPT-4o 快 1.75 倍,比 DeepSeek-V3 快 2.4 倍。5tg喜好网-记录每日喜好的科技时尚娱乐生活

考虑到商业用途,该模型还具有更大的上下文窗口,达到 256,000 tokens,是行业平均水平的两倍,包括 Cohere 自己的 Command R+ 模型。这意味着该模型可以一次性处理大量文档或长达 600 页的书籍。5tg喜好网-记录每日喜好的科技时尚娱乐生活

Cohere 联合创始人 Nick Frosst 表示:"我们只训练模型来帮助你更好地完成工作。这应该感觉像是为你的思维装上了机甲。因此,我们训练它是为了赋能于你。它应该在这方面表现得特别出色。"5tg喜好网-记录每日喜好的科技时尚娱乐生活

该公司表示,他们专注于开发能够实现 AI 代理可扩展运营的模型功能。代理式 AI 最近已成为行业的重要趋势,旨在创建能够分析数据、做出决策并执行任务的人工智能系统,而无需或仅需最少的人工参与。在实践中,这需要大量的计算能力,要基于公司信息高效准确地完成这些任务需要训练有素的 AI 模型。5tg喜好网-记录每日喜好的科技时尚娱乐生活

Cohere 表示,Command A 将直接集成到其安全的 AI 代理平台 North 中,该平台允许企业用户充分利用其公司数据的潜力。该平台旨在使企业 AI 代理能够使用客户关系管理、资源规划软件等工具来自动化任务。5tg喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
疑遭猎杀 泰海域发现无头“美人鱼”:只因毫无科学依据的传说

疑遭猎杀 泰海域发现无头“美人

11月19日

11-19 62阅读
纯电210km 奇瑞风云T9超长续航版上市:限时国补14.89万元

纯电210km 奇瑞风云T9超长续航版

11月19日

11-19 67阅读
小米手机下次相机版本更新增加水印颜色选项,老机型也会版本迭代

小米手机下次相机版本更新增加水

11 月

11-19 72阅读
苹果揭秘自研芯片成功原因:竞争对手没法用最新尖端技术

苹果揭秘自研芯片成功原因:竞争对

11月1

11-19 72阅读
灵宝 CASBOT 01 人形机器人发布:52自由度,头部配屏,获联想投资

灵宝 CASBOT 01 人形机器人发布:5

11-19 61阅读
脱离海马后,他们的那段故事就像是一场梦

脱离海马后,他们的那段故事

11-19 72阅读
《号手就位》主角为什么都选择入伍,最后他们如何了?

《号手就位》主角为什么都

《号手就位》是中国首部火箭军题

11-19 60阅读
TXT迷你七辑《The Star Chapter: SANCTUARY》进入专辑主榜"Billboard 200"(11月23日次)第2位

TXT迷你七辑《The Star Ch

17日,据美国Billboard榜单

11-19 65阅读
2024东方卫视跨年首发阵容,胡歌唐嫣代表《繁花》剧组亮相

2024东方卫视跨年首发阵容

12月25日,2024东方卫视跨年首发阵

11-19 64阅读
浪胃仙IP创始人“游絮”犯职务侵占罪被判8年:罚100万 归还账号

浪胃仙IP创始人“游絮”犯

11月13日消息,据

11-19 66阅读
《啪嗒砰》精神续作《Ratatan》新预告片分享

《啪嗒砰》精神续作《Rata

Game Source Entertainment 宣布与开

11-19 66阅读
原神星月之章全流程解析|原神星月之章任务攻略

原神星月之章全流程解析|

原神星月之章是须弥地图的世界任务之一

11-19 64阅读
原神痼疾任务图文攻略|原神痼疾全流程攻略

原神痼疾任务图文攻略|原

痼疾是原神须弥地区魔神主线任务的第三

11-19 64阅读
原神林中遇变任务怎么做?原神林中遇变主线攻略

原神林中遇变任务怎么做?

林中遇变是原神须弥地区魔神主线任务的

11-19 62阅读
硬件情报站第156期:AMD锐龙9800X3D黄牛价翻倍 网友14900K送保被拒

硬件情报站第156期:AMD锐龙

11-19 74阅读