好友娱乐登陆-好友娱乐登陆官网-好友娱乐登录
    官网首页 / 资讯 / 新闻 / 微软小冰是怎样学会对话、唱歌和比喻?我们听三位首席科学家讲了讲背后的原理

微软小冰是怎样学会对话、唱歌和比喻?我们听三位首席科学家讲了讲背后的原理

2019-12-06 21:04


郭一璞

郭一璞 发自 微软
量子位 报导 | 大众号 QbitAI


“爱情和葡萄酒相同,对程序员来说都是奢侈品。”

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

这是学习“比方”这种修辞手法时,微软小冰的一句话。

现在,现已有4.5亿台第三方智能设备搭载了小冰,小冰多轮对话的轮数最高现已达到了23轮。

曩昔5年来,小冰团队有48篇论文发在了AAAI I JCAI ACL KDD EMNLP等顶会上,现已申请了72个专利,其间,本年发了3篇ACL、4篇EMNLP、1篇Interspeech和1篇ACM MM long paper。

在前不久的一次workshop上,微软小冰首席科学家宋睿华、微软小冰首席NLP科学家武威、微软小冰首席语音科学家栾剑共享了近年来小冰的技术成果。

此前,小冰现已掌握了“尬聊”技术,能操控多轮对话的节奏和走向,微软小冰首席NLP科学家武威介绍了这一进程背面的技术,他称之为朝向自我齐备的对话机器人。

自我齐备,也便是Self-Complete,自我齐备的机器人需求具有三个才能:

1、学习才能,不仅从人类的对话中学习,也能够让不同的机器人凭借Co-teaching模型互相学习;

2、能够自主的办理,初级阶段是知道单轮对话应该进行怎样的表达,高级阶段便是能把控整个对话的流程;

3、连接才能,连接散落在世界上的多模态常识。

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

在三种才能之上,结合检索模型、生成模型和共感模型,这样小冰就能够自主掌握对话进程。

微软小冰唱沧海一声笑来自量子位00:0001:16

微软小冰首席语音科学家栾剑揭秘了小冰的歌唱技术。

首要,歌唱有三大要素:发音、节拍和腔调。

那么,AI要怎样学会一首歌呢?

有两种办法,一是学习人唱的歌,听人类歌手的原唱,这也是人类更喜爱的学歌唱办法,但机器经过这种办法来学歌唱需求需求判别曲调,更简单有差错。

二是看着曲谱学这首歌,直接从曲谱生成唱出来的音频文件,这对人类来说比较复杂,但对机器来说更简单。

之后,组成一段歌声也有两种办法。

一种是单元拼接法,把单个的声响找出来拼在一起。

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

假如不考虑腔调,声母和韵母凑成的单音节有400个左右,提早录制好这400个音节的不同版别,长的短的、高音低声,凑成单元库,再依据详细歌曲中的发音需求从单元库中选取单元拼接起来。

不过,这种办法或许不太流通,会有一个字一个字蹦的感觉,出来的曲调过渡上会让人感觉僵硬。

另一种是参数组成法,用隐马尔科夫模型来做。

这种办法是从很多录音数据中提取包含能量谱、时长、音高在内的声学参数,经过声学参数、声码器把音频的波形重构出来。

这种办法得出的成果有丰厚的改变,能够创造出历来不存在的声响,但是在声码器重构的进程中或许会引起音质丢失。

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

小冰的歌唱技术便是根据参数组成法,从曲谱中收集发音、节拍、腔调三大要素,别离对声谱参数、节奏序列、音高轨道用三个模型别离建模,用神经网络猜测参数,之后把这些参数经过声码器生成波形。

之后的迭代中,也凭借了模块化的办法,并将三个模型合为一个,这样组成歌声的天然度和流通度就得以提升了。

微软小冰首席科学家宋睿华介绍了小冰学会比方句的进程。

让小冰学比方的创意,来自一个段子:

不论什么样语句,后边加一个“爱情也是这样的”都是说得通的。

比方,“人有两条腿,爱情也是这样的”,能够理解为“爱情总会走的”,也能够理解为“爱情总会来的”。

在这个逻辑下,找到本体、喻体和中心的解说,就能够有很多种或许:

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

比方“爱情和葡萄酒相同,对程序员来说都是奢侈品。”

不过,它也或许生成奇特的比方:

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

“恋人像是牢靠的报表”

微软小冰怎么学会对话、歌唱和比方?三位首席科学家讲了讲原理

— 完 —

服务支持

我们珍惜您每一次在线询盘,有问必答,用专业的态度,贴心的服务。

让您真正感受到我们的与众不同!