首页 > 今日新闻 > 今日新闻 > 微软正努力治疗AI幻觉,可实时屏蔽和重写毫无根据的信息

微软正努力治疗AI幻觉,可实时屏蔽和重写毫无根据的信息

发布时间:2024-06-21 23:07:55

6 月 21 日消息,就在 GPT-4 因征服标准化测试而登上头条时,微软研究人员正在对其他 AI 模型进行一种非常另类的测试 —— 一种旨在让模型捏造信息的测试。

为了治好这种被称为“AI 幻觉”的症状,他们设定了一个会让大多数人头疼的文本检索任务,然后跟踪并改进模型响应,这也是微软在测定、检测和缓解 AI 幻觉方面的一个例子。

微软 AI 负责项目的首席产品官 Sarah Bird 表示,“微软希望其所有 AI 系统都是值得信赖且可以有效使用的”。

我们可以向这个领域投入许多专家和资源,因此我们认为自己可以帮助阐明“应该如何负责任地使用新型 AI 技术”的方法,并使其他人也能够做到这一点。

从技术角度来讲,AI 幻觉是一种“缺乏事实依据”的内容,这意味着 AI 模型改变了它所给定的数据或添油加醋描述了原本不存在的信息。

当然,AI 幻觉这种东西也不是所有时候都毫无用处,例如当用户希望 AI 帮自己写一个科幻故事,或给出一种非传统想法时,就属于是有益的;但在大多数需要 AI 的场景,诸如医学和教育等场景就显得多余了,因为准确性大于一切。

因此,微软也在努力根据其自有 AI 产品(例如 Copilot)来试图攻克 AI 幻觉,研究一系列工具来帮助机器解决幻觉问题。

微软表示,其工程师花了数月时间,通过检索增强生成技术(一种无需重新训练模型即可向模型添加额外知识的技术)将必应搜索数据作为 Copilot 的依据,通过必应的答案、索引和排名数据帮助 Copilot 提供更准确、更相关的回复,同时提供引用信息,让用户可以自行查找和验证。

“该模型非常擅长推理信息,但我们不认为它应该成为答案的来源,”Bird 说,“我们认为数据应该是答案的来源,因此我们解决这个问题的第一步是向模型提供最新、高质量且准确的数据。”

除此之外,微软还试图通过各种工具帮助客户做到这一点,例如 Azure OpenAI 服务中的“Your Data”功能可帮助企业组织用自己的数据来训练生成式 AI。

值得一提的是,微软还推出了一种实时工具,可以大规模检测应用中依据企业数据的可靠程度。微软表示,Azure AI Studio 可以根据来源文档评估响应的可靠程度。

据介绍,微软还正在开发一种新的针对措施,可以实时屏蔽和纠正“毫无根据”的信息。当检测到事实依据错误时,该功能将根据数据自动进行重写。

微软 AI 负责项目的首席产品经理 Ken Archer 表示,“处于生成式 AI 的前沿意味着我们有责任和机会让自己的产品更安全、更可靠,并让客户也能放心使用我们的工具”。

今日新闻更多>>

华为重返欧洲高端市场!Mate 80 Pro海外发布:系统不是鸿蒙 机构:2025年12月全球手机平均内存8.4GB创新高 酷比魔方在线询问,平板要不要合作适配魅族Flyme 消息称荣耀600系列工程机现身:采用6.57英寸直屏+骁龙8至尊版 卢伟冰已抵达巴塞罗那!小米大招来了:手机、汽车和AI都有惊喜 马斯克要把数据中心搬上太空!黄仁勋:没有空气流动得造巨大散热器 “小蓝灯”照耀回乡路,春运成智能驾驶最佳普及时机 | 电厂 刚刚,魅族正式回应:手机不会没,全力押宝AI,“煤油”评论区挥泪告别 美团推出“饭团漫社”,布局漫剧赛道 DPO「只看总分不看细节」?TI-DPO用Token重要性重塑大模型对齐 马斯克xAI雪崩!24小时两联创离职,一月内连失三位华人创始人 AI一秒写千言,硅谷为何砸500万年薪疯抢“笔杆子”? 马斯克xAI再失联合创始人,12人创始团队已有6人离场 马斯克最新内部讲话:先上月球放卫星,再去火星 长语音、对话、指令、音效全覆盖!模思智能推出MOSS-TTS Family 揭秘Seedance2.0背后AI关联公司 港股小米集团涨幅扩大至5% 星海图官宣完成10亿元B轮融资 AI红包大战激战正酣,未来到底在拼什么? AI一秒写千言,硅谷为何砸500万年薪疯抢“笔杆子”? Nothing Headphone (a)头戴式耳机被曝3月将上市,价格亲民 消息称内存芯片涨价致部分厂商暂停下代旗舰研发 苹果CEO库克:今年将展现前所未见的创新 英特尔代工iPhone芯片没戏了!行业人士揭开背后原因 小米Civi 6突然曝光:6.59英寸+中高端定位,上半年发布! 阶跃星辰发布开源基座 模型Step 3.5 Flash 顺丰“人格分裂”:一手砸钱扩版图,一手猛砍人力成本 SmarterMail修复CVSS 9.3分关键远程代码执行漏洞 “太空挖矿”过于科幻?中国动真格了 告别磁吸壳!三星Galaxy S26全系手机标配Qi2磁吸充电