AI 怎么知道人类对话在说什么?微软研究团队告诉你

AI 怎么知道人类对话在说什么?微软研究团队告诉你

最近,微软的研究团队通过研究上下文建模提出了一种新方法。这种方法使人工智能模型能够通过上下文历史重写对话中的最后一句话。那么,这是什么样的研究方法呢?

KYLE WIGGERS对此做了详细介绍。雷锋的网站编辑他的文章如下。

在一篇预先发表的论文中,微软研究团队详细描述了他们在开放领域对话中无监督上下文重写方面的工作。他们声称他们的实验结果已经达到重写质量和多轮响应生成的最新基准。

正如研究人员解释的那样,对话环境提出了句子建模中找不到的挑战,例如话题转换、共同参照(像他、她、it、他们的同类)和长期依赖。大多数系统通过在最后一段添加关键词或者使用人工智能模型学习数字来解决这些问题。然而,这种方法经常遇到障碍,例如无法选择正确的关键字和处理较长的上下文。

此时,微软的研究团队的方法已经到位。它通过考虑上下文信息来改写对话的最后一句。这样做是为了产生一个独立的话语,既不是相互参照,也不依赖于过去对话的其他话语。

AI 怎么知道人类对话在说什么?微软研究团队告诉你

例如,如果你说“我讨厌咖啡”。-为什么?味道很好。”你为什么讨厌喝咖啡?味道很好。”,其中借用了“它”和“为什么”。其中,“它”是指对话中提到的咖啡,“为什么”是“你为什么讨厌喝咖啡”的缩写。

作为回应,研究人员设计了一个机器学习系统——上下文重写网络,以实现端到端的过程自动化。该系统由一个序列对序列模型组成,该模型可以将固定长度的话语映射到固定长度的改写句子。此外,它还有一个独立的注意机制,以帮助它通过最终话语中的不同单词从上下文中复制单词。

那么,这个系统是如何设计的?

首先,微软的研究团队用虚拟数据训练模型,虚拟数据是通过从上下文中提取关键词并将这些关键词插入到原始对话的最后几个词中而生成的。然后,为了让最终的响应影响重写过程,他们使用强化学习将系统推向目标。

AI 怎么知道人类对话在说什么?微软研究团队告诉你

在一系列实验中,该团队评估了他们的方法在若干重写质量、多轮响应生成、多轮响应选择和基于端到端检索的任务中的应用。他们注意到,由于他们的模型更倾向于从上下文中提取更多的单词,在强化学习后,该模型偶尔会变得不稳定,但是,它也显著地提高了话语的多样性。

微软研究团队认为他们的工作是朝着更容易解释和更容易控制上下文建模迈出的一步。此外,研究团队还表示,他们的模型可以从嘈杂的语境中提取重要关键词,然后将这些关键词插入到最终话语中,这不仅便于控制和解释,而且有助于将信息直接传递到最终话语中。

极牛网精选文章《AI 怎么知道人类对话在说什么?微软研究团队告诉你》文中所述为作者独立观点,不代表极牛网立场。如若转载请注明出处:https://geeknb.com/3281.html

(33)
打赏 微信公众号 微信公众号 微信小程序 微信小程序
主编的头像主编认证作者
上一篇 2019年10月23日 下午4:04
下一篇 2019年10月23日 下午7:33

相关推荐

发表回复

登录后才能评论
扫码关注
扫码关注
分享本页
返回顶部