阿里云通义开源首个长文本新模型,百万Tokens处理性能超GPT-4o-mini

3个月前 科技 23观看
摘要 1月27日凌晨,阿里云通义重磅开源支持100万Tokens上下文的Qwen2.5-1M模型,推出7B及14B两个尺寸,均在处理长文本任务中稳定超越GPT-4o-mini;同时开源推理框架,在处理百万级别长文本输入时可

1月27日凌晨,阿里云通义重磅开源支持100万Tokens上下文的Qwen2.5-1M模型,推出7B及14B两个尺寸,均在处理长文本任务中稳定超越GPT-4o-mini;同时开源推理框架,在处理百万级别长文本输入时可实现近7倍的提速。qRo喜好网-记录每日喜好的科技时尚娱乐生活

图片1.jpg qRo喜好网-记录每日喜好的科技时尚娱乐生活

百万Tokens长文本,可换算成10本长篇小说、150小时演讲稿或3万行代码。两个月前, Qwen2.5-Turbo 升级了百万Tokens的上下文输入能力,广受开发者和企业欢迎。如今,开源社区可基于全新的 Qwen2.5-1M 系列模型,进行长篇小说或多篇学术论文的解析,或是探索仓库级代码的分析和升级。qRo喜好网-记录每日喜好的科技时尚娱乐生活

图片2.jpg qRo喜好网-记录每日喜好的科技时尚娱乐生活

Qwen2.5-1M拥有优异的长文本处理能力。在上下文长度为100万 Tokens 的大海捞针(Passkey Retrieval)任务中,Qwen2.5-1M 能够准确地从 1M 长度的文档中检索出隐藏信息,仅有7B模型出现了少量错误。在RULER、LV-Eval等基准对复杂长上下文理解任务测试中,Qwen2.5-14B-Instruct-1M 模型不仅击败了自家闭源模型 Qwen2.5-Turbo,还稳定超越 GPT-4o-mini,为开发者提供了一个现有长上下文模型的优秀开源替代。qRo喜好网-记录每日喜好的科技时尚娱乐生活

大模型的长文本训练需要消耗大量的计算资源,通义团队通过逐步扩展长度的方法,从预训练到监督微调再到强化学习等多个阶段,高效地将 Qwen2.5-1M 的上下文长度从 4K 扩展到 256K;再通过长度外推的技术,创新引入Dual Chunk Attention机制,在无需额外训练的情况下,将上下文长度高性能地稳定扩展到1M,从而在较低成本下实现了 Qwen2.5-1M 模型。qRo喜好网-记录每日喜好的科技时尚娱乐生活

图片3.jpg qRo喜好网-记录每日喜好的科技时尚娱乐生活

同时,为了加快推理速度,通义团队在vLLM推理引擎基础上,引入基于Minference的稀疏注意力机制,并在分块预填充、集成长度外推方案和稀疏性优化等多环节创新改进。基于这些改进的推理框架有效地加快了模型推理速度,在不同模型大小和 GPU 设备上,处理 1M 长度输入序列的预填充速度提升了 3.2 倍到 6.7 倍。qRo喜好网-记录每日喜好的科技时尚娱乐生活

据了解,Qwen2.5-1M已经在魔搭社区ModelScope和HuggingFace等平台开源,开发者可前往下载或直接体验模型;相关推理框架也已在GitHub上开源,帮助开发者更高效地部署Qwen2.5-1M模型。开发者和企业也可通过阿里云百炼平台调用 Qwen2.5-Turbo 模型API,或是通过全新的Qwen Chat平台体验模型性能及效果。qRo喜好网-记录每日喜好的科技时尚娱乐生活

附链接:qRo喜好网-记录每日喜好的科技时尚娱乐生活

演示Demo:https://www.modelscope.cn/studios/Qwen/Qwen2.5-1M-DemoqRo喜好网-记录每日喜好的科技时尚娱乐生活

Modelscope:https://www.modelscope.cn/organization/QwenqRo喜好网-记录每日喜好的科技时尚娱乐生活

Huggingface:https://huggingface.co/QwenqRo喜好网-记录每日喜好的科技时尚娱乐生活

开源框架地址:https://github.com/QwenLM/vllm/tree/dev/dual-chunk-attnqRo喜好网-记录每日喜好的科技时尚娱乐生活

Qwen Chat体验:https://chat.qwenlm.ai/qRo喜好网-记录每日喜好的科技时尚娱乐生活

qRo喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
拼多多「隐身」双十一

拼多多「隐身」双十一

纵然是在互联互通的大背景下,双十

11-19 65阅读
抖音电商拐点已至,从美妆行业开始跌落?

抖音电商拐点已至,从美妆行业开始

前几日,抖音首次公布了“双11”大

11-19 64阅读
护眼的2K旗舰!Redmi K80是行业唯一支持全亮度DC的2K屏手机

护眼的2K旗舰!Redmi K80是行业唯

11月18日

11-19 78阅读
又一百亿独角兽申请破产了

又一百亿独角兽申请破产了

近日,

11-19 71阅读
大模型公司们创业未半,技术主心骨们却先弃船回大厂了?

大模型公司们创业未半,技术主心骨

图片来源:由无界AI生成2024年下半

11-19 68阅读
被审判的麦琳和妖魔化的小红书

被审判的麦琳和妖魔化的小

作者 / 张   特编辑 / 朱   婷运

11-19 68阅读
雷佳音:再获金鸡影帝,拥抱四美台上哽咽,不忘向张艺谋要手机号

雷佳音:再获金鸡影帝,拥抱四

11-19 71阅读
远离“造神”陷阱,官媒发文辟谣,揭开了53岁刀郎的“真实近况”

远离“造神”陷阱,官媒发文

11-19 71阅读
龙波 始终亲力亲为,哪个岗位有需要就扑在哪里 优秀新闻工作者 编辑⑨(龙波始终亲力亲为)

龙波 始终亲力亲为,哪个岗

为激励全市新闻战线认真践行“四向

11-19 66阅读
《白夜追凶》续集来了 白夜破晓全阵容官宣:潘粤明等原班人马

《白夜追凶》续集来了 白

11月16日消息,“

11-19 66阅读
动作射击新作《Kusan: City Of Wolves》公布 2026年发售

动作射击新作《Kusan: Cit

韩国开发商CIRCLEfromDOT与英国发行商

11-19 63阅读
城市天际线秘籍代码及使用方法详细介绍

城市天际线秘籍代码及使用

《城市:天际线》是以建造和管理城市为题

11-19 65阅读
和平精英国际服怎么选择国家?和平精英国际服改国籍方法

和平精英国际服怎么选择国

《和平精英国际服》是蓝洞和腾讯联合出

11-19 126阅读
原子之心展览园死者位置_展览园全部死者位置一览

原子之心展览园死者位置_

原子之心游戏的展览园区域中一共拥有11

11-19 69阅读
原子之心动物谜题答案_动物谜题解谜教程

原子之心动物谜题答案_动

原子之心游戏中玩家会碰到一个动物谜题

11-19 71阅读