NVIDIA推出用于多语言生成式人工智能的NeMo Retriever微服务

4个月前 科技 36观看
摘要 为了使生成式人工智能的跨语言数据检索更加准确,NVIDIA通过面向开发人员的应用编程接口目录,推出了使用Nvidia NeMo Retriever的多语言功能。该软件可以理解多种语言和格式的数据,并将其转化为

为了使生成式人工智能的跨语言数据检索更加准确,NVIDIA通过面向开发人员的应用编程接口目录,推出了使用Nvidia NeMo Retriever的多语言功能。该软件可以理解多种语言和格式的数据,并将其转化为文本,帮助实现上下文感知结果。t82喜好网-记录每日喜好的科技时尚娱乐生活

NeMo Retriever允许开发人员为人工智能模型建立信息摄取和检索管道,通过转换文本、文档、表格和类似信息来提取结构化和非结构化数据,并避免重复的数据块。它将信息转换成人工智能可以理解的语言,并将其插入到使用嵌入技术的矢量数据库中。t82喜好网-记录每日喜好的科技时尚娱乐生活

嵌入是一种复杂的信息数学表示方法,代表了词、短语和其他类型数据之间的属性和关系。在搜索或思考两个词或句子时,它可以帮助捕捉两者意义的“接近程度”,就像“猫”和“狗”很接近,因为它们都是动物,并且都是家养宠物。然而,“烤面包机”和“狗”的区别比较大,不过两者都经常出现在房子里。t82喜好网-记录每日喜好的科技时尚娱乐生活

NVIDIA生成式人工智能软件副总裁Kari Briski在接受SiliconANGLE采访时表示,使用 Retriever以母语嵌入和检索数据还能提高准确性。这种情况的部分原因是英语在大多数人工智能数据训练集中占主导地位。任何人如果将某些德语的内容翻译成英语,然后再翻译回德语,都会发现“翻译遗失”效应,即每次都会遗失上下文或准确性。t82喜好网-记录每日喜好的科技时尚娱乐生活

Briski表示:“准确性是必要的,而世界上大多数数据、开放数据恰好都是英语,这就是为什么要推动主权人工智能的原因。”“加强其他语言,让数据和检索器使用他们的自然语言,将有助于提高准确性。”t82喜好网-记录每日喜好的科技时尚娱乐生活

Briski表示,Retriever刚发布时,由于使用翻译软件会失去准确性,因此客户要求提供多语言支持。企业业务并非只使用一种语言。他们可能会嵌入英文文档、德文测试、日文内容,或者调入用俄文撰写的研究报告。结果是,这些信息需要通过相同的模型进行搜索,但通过的工具越多,准确性就越低。t82喜好网-记录每日喜好的科技时尚娱乐生活

除了摄取之外,NeMo Retriever还能对结果进行“评估和重排”,以确保答案的准确性。当通过Retriever发送查询时,它会检查矢量数据库的响应,并对检索到的信息进行排序,以便根据与查询的相关性对答案进行排序,从而提高准确性。t82喜好网-记录每日喜好的科技时尚娱乐生活

NVIDIA与DataStax合作,采用NeMo Retriever对免费在线志愿者众包的维基百科的内容进行矢量嵌入。利用NVIDIA提供的技术和专用软件,该公司能够在三天内将1千万个数据条目的内容矢量化为人工智能可以使用的格式,这项工作原本通常需要30 天。t82喜好网-记录每日喜好的科技时尚娱乐生活

其他一些NVIDIA的合作伙伴——包括Cohesity、Cloudera、SAP SE和VAST Data等已经在整合对这些新的微服务的支持,以支持大型多语言数据源。其中包括检索增强生成技术等服务,这些技术允许预训练的生成式人工智能使用实时数据源获取更丰富、更相关的信息。适应多语言源的企业可以获取更多数据。t82喜好网-记录每日喜好的科技时尚娱乐生活

Briski表示,目前,NeMo Retriever for Multilingual只能用于文本检索和回答。她表示:“面向未来,我们正在研究多模态数据、图像、PDF和视频。”“我们现在只讨论文本。因为如果你能处理好文本,那么你就能在其他模式方面做得很好。”t82喜好网-记录每日喜好的科技时尚娱乐生活

展开全文
猜你感兴趣
稳定7100MB/s!雷克沙ARES 8TB SSD评测:机箱里再也没有机械硬盘的位置了

稳定7100MB/s!雷克沙ARES 8TB SSD

一、前言:

11-19 68阅读
小鹏汇天“陆地航母”2024 广州车展完成全球公开载人首飞

小鹏汇天“陆地航母”2024 广州

11-19 61阅读
“抽象”主播为何爆火?

“抽象”主播为何爆火?

前不

11-19 71阅读
灵初智能完成天使轮融资

灵初智能完成天使轮融资

近日,

11-19 66阅读
这个东北小镇,拿捏年轻人的第一件貂

这个东北小镇,拿捏年轻人的第一件

你会

11-19 66阅读
金鸡奖这一夜,世态炎凉、江湖职位,在王骁身上体现得淋漓尽致

金鸡奖这一夜,世态炎凉、江

11-19 70阅读
长江文化艺术季闭幕式圆满落幕 平安携手金莎合唱《何以家国》

长江文化艺术季闭幕式圆满

  4日晚,长江文化艺术季闭幕式在宜昌

11-19 67阅读
中国第一网红李子柒:不希望青少年梦想当网红

中国第一网红李子柒:不希望

11月19日消息,近

11-19 73阅读
浪胃仙IP创始人“游絮”犯职务侵占罪被判8年:罚100万 归还账号

浪胃仙IP创始人“游絮”犯

11月13日消息,据

11-19 66阅读
童年女神归来!《猫眼三姐妹》动画将迎来重制

童年女神归来!《猫眼三姐妹

根据海外情报师

11-19 62阅读
《维纳斯璀璨假期 死或生XTREME》公开实机游玩

《维纳斯璀璨假期 死或生X

台湾光荣特库摩宣布,家机新作沉浸式恋爱

11-19 72阅读
传索尼正在研究如何在PS5主机上原生运行PS3游戏

传索尼正在研究如何在PS5

据最新传闻,索尼目前正在致力于让PS3游

11-19 70阅读
烟雨江湖千机遗迹怎么开启?烟雨江湖千机遗迹攻略流程

烟雨江湖千机遗迹怎么开启

《烟雨江湖》是一款开放世界武侠冒险手

11-19 153阅读
原子之心动物谜题答案_动物谜题解谜教程

原子之心动物谜题答案_动

原子之心游戏中玩家会碰到一个动物谜题

11-19 71阅读
饥荒san值怎么恢复?饥荒恢复san值的途径一览

饥荒san值怎么恢复?饥荒恢

san值是饥荒游戏里面的一个重要数值,玩

11-19 73阅读