腾讯开源四款“小”模型

上海证券报·中国证券网 08-05 09:49


上证报中国证券网讯(记者刘逸鹏)8月4日,腾讯混元宣布开源四款小尺寸模型,参数分别为0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。

据介绍,这四款模型的推出,是腾讯混元大模型持续开源的一大举措,也进一步丰富了混元开源模型体系,可为开发者和企业提供更多尺寸的模型选择。目前,四个模型均在Github和HuggingFace等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。

新开源的4个模型属于融合推理模型,具备推理速度快、性价比高的特点,用户可根据使用场景灵活选择模型思考模式——快思考模式提供简洁、高效的输出;而慢思考涉及解决复杂问题,具备更全面的推理步骤。

据了解,这四个模型的亮点在于agent和长文能力,跟此前开源的Hunyuan-A13B模型一样,技术上通过精心的数据构建和强化学习奖励信号设计,提升了模型在任务规划、工具调用和复杂决策以及反思等agent能力上的表现,让模型实际应用中可以轻松胜任深度搜索、excel操作、旅行攻略规划等任务。

此外,模型原生长上下文窗口达到了256k,意味着模型可以一次性记住并处理相当于40万中文汉字或50万英文单词的超长内容,相当于一口气读完3本《哈利波特》小说,并且能记住所有人物关系、剧情细节,还能根据这些内容讨论后续故事发展。

部署上,四个模型均只需单卡即可部署,部分PC、手机、平板等设备可直接接入。并且,模型具有较强的开放性,主流推理框架(例如,SGLang,vLLMandTensorRT-LLM)和多种量化格式均能够支持。

应用层面,四款小尺寸模型都能够满足从端侧到云端、从通用到专业的多样化需求,并且已经在腾讯多个业务中应用,可用性和实用性经过了实践的检验,是真正实用的模型。

例如,依托模型原生的超长上下文能力,腾讯会议AI小助手、微信读书AI问书AI助手均实现对完整会议内容、整本书籍的一次性理解和处理。

在端侧应用上,腾讯手机管家利用小尺寸模型提升垃圾短信识别准确率,实现毫秒级拦截,隐私零上传;腾讯智能座舱助手通过双模型协作架构解决车载环境痛点,充分发挥模型低功耗、高效推理的特性。

在高并发场景中,搜狗输入法基于模型的多模态联合训练机制使嘈杂环境下提升识别准确率;腾讯地图采用多模型架构,利用意图分类和推理能力提升了用户交互体验;微信输入法“问AI”基于模型实现输入框与AI即问即答的无缝衔接。

在需求各异、约束严苛的垂直行业应用中,金融AI助手通过Prompt优化和少量数据微调实现95%+意图识别准确率,展现出金融级的高可靠性;游戏翻译和QQ飞车手游NPC充分利用模型的理解能力在多语言理解能力、方言翻译和智能对话方面有突出表现,这些能力在专业客服、内容出海甚至电商直播等场景有巨大应用潜力。

最近,全球开源领域异常热闹,中国大模型表现抢眼。腾讯混元大语言模型也在持续推进开源,参与技术社区的共建之中,其开源模型已覆盖文本、图像、视频和3D生成等多个模态。

在大语言模型领域,腾讯混元此前陆续开源了激活参数量达52B的Hunyuanlarge和首个混合推理MoE模型Hunyuan-A13B。

多模态方面,混元还开放了完整多模态生成能力及工具集插件,陆续开源了业界领先的文生图、视频生成和3D生成能力,提供接近商业模型性能的开源基座,方便社区基于业务和使用场景定制,图像、视频衍生模型数量达到3000个。

7月27日,腾讯发布并开源混元3D世界模型1.0,这一模型一经发布即迅速登上HuggingFace趋势榜第二,下载量飙到近9k,混元3D世界模型技术报告还拿下了HuggingFace论文热榜第一。

腾讯表示,开源是腾讯混元大模型长期坚持的方向,未来腾讯混元也将不断提升模型能力,继续积极拥抱开源,推出更多尺寸、更多模态的模型,加速产业落地和应用,与开发者和合作伙伴共建大模型开源生态。

(文章来源:上海证券报·中国证券网)

文章来源:上海证券报·中国证券网
文章作者:刘逸鹏
原标题:腾讯,开源四款“小”模型
郑重声明:东方财富发布此内容旨在传播更多信息,与本站立场无关,不构成投资建议。据此操作,风险自担。
热点阅读
A股突变!半导体芯片股大涨 究竟发生了什么?
A股突变!半导体芯片股大涨 究竟发生了什么?
证券时报网 301评论
特朗普称美将对芯片和半导体征收约100%的关税
特朗普称美将对芯片和半导体征收约100%的关税
证券时报 2234评论
罕见!外资买到“限购” 近20年股价暴涨近75倍!社保养老金同时重仓股曝光
罕见!外资买到“限购” 近20年股价暴涨近75倍!社保养老金同时重仓股曝光
证券时报网 75评论
十城迎战基孔肯雅热:IVD企业24小时研发出检测盒 中药巨头紧急调配抗疫古方
十城迎战基孔肯雅热:IVD企业24小时研发出检测盒 中药巨头紧急调配抗疫古方
华夏时报 157评论
打开东方财富APP查看更多内容
24小时点击排行
利好又来了,晚间四大消息
8月7日早盘重要财经资讯汇总
希望。
肉制品龙头下场,抢占中高端宠物粮市场
PEEK:人形机器人“超级材料”
点击查看更多内容
写评论 ...