主页 > 国内 >

物业管理方案的主要内容

十项主要任务超过了伯特。微软提出了一种多任务深度神经网络

????辛志远报告

????资料来源:微软

????作者:高建峰主编:肖琴

????[新智能教程]在微软的新研究中,提出了一种新的多任务深度神经网络模型mt-dnn。mt-dnn结合了bert的优点,在10个自然语言理解任务中超过bert,在许多流行的基准中创建了新的和最先进的结果。

????语言嵌入是将自然语言符号文本(如单词、短语和句子)映射到语义向量表示的过程。这是自然语言理解深度学习方法的基础。学习语言嵌入对于多个NLU任务是必不可少的。

????有两种常用的学习语言嵌入方法:语言模型预训练和多任务学习(MTL)。前者利用大量的非标记数据学习通用语言嵌入,但MTL可以有效地利用多个相关任务的监控数据,减少对特定任务的过度拟合,从而使学习嵌入在任务之间变得通用。

????最近,微软研究人员发布了一个多任务深度神经网络模型mt-dnn,用于学习通用语言嵌入。mt-dnn结合了mtl和bert语言模型预训练方法的优点,在10个nlu任务中超过bert,并在许多流行的nlu基准中创建了新的和最先进的结果,包括glue、斯坦福自然语言推理(snli)和sci tail。

????mt-dnn架构

????mt-dnn对微软2015年提出的多任务dnn模型进行了扩展,并介绍了谷歌人工智能开发的预训练双向变压器语言模型bert。

????MT-DNN架构

????mt-dnn模型的架构如上图所示。较低级别在所有任务之间共享,而最高级别是特定于任务的。输入x可以是一个句子或一对句子,其中每个单词首先表示为一个嵌入的向量序列,表示为l_1。

????然后,基于转换器的编码器捕获每个单词的上下文信息,并在L2中生成一个共享的上下文嵌入向量。

????最后,对于每个任务,额外的任务是什么?C层生成特定于任务的表示,然后执行分类、相似性评分或相关性排序所需的操作。mt-dnn使用bert初始化它的共享层,然后通过mtl改进它们。

????域自适应结果

????评估语言嵌入的通用性的一种方法是测量嵌入速度以适应新任务,或者需要多少特定于任务的标记才能在新任务上取得良好的效果。嵌入越通用,它需要的特定于任务的标记就越少。

????本文比较了mt-dnn和bert在域自适应方面的性能。

????在域适应中,两个模型都通过逐渐增加域内数据的大小来适应新的任务。

????snli和citail任务的结果显示在下表和图中。可以看出,在仅有0.1%的域内数据(snli中549个样本,scitail中23个样本)的情况下,mt-dnn的准确率超过80%,bert的准确率约为50%,说明mt-dnn学习语言嵌入比bert学习语言嵌入更为普遍。

????与伯特相比,mt-dnn在snli和scitail数据集上具有更高的准确性。

????胶水、snli和scitail 3基准的结果

????在粘合测试集中,mt-dnn在10个任务上优于bert。

????开源模型

????微软已经在Github中打开了源代码mt-dnn包,其中包含预先培训的模型、源代码,并描述了如何复制mt-dnn论文中报告的结果,以及如何通过域适应使预先培训的mt-dnn模型适应任何新任务。

????论文:

????网址:https://arxiv.org/abs/1901.11504

wang zhi: https: arxiv. org abs 1901. 11504

????github:

????https://github.com/namisan/mt-dnn

????免责声明:本文是来自腾讯新闻客户端的媒体,并不代表腾讯的观点和立场。

当前文章:http://www.gssdgcj5c.com/6g6ycq/55203-161003-31880.html

发布时间:06:27:32

366行业资讯网??

{相关文章}

美国一家电影院将超级英国人的“骨灰”置于“双联四”展览馆。

?? 酒店宾馆装修_366行业资讯网;?英超联赛展出的六具“骨灰”属于导演、黑豹、昆虫、猎鹰、幻觉和红色女巫。在“灰烬”旁边,只展丽枫酒店_366行业资讯网示了已故人物的黑白照片。没有宣传“对电子信息工程专业的认识论文_366行业资讯网报复4”或类似的海报。电影院似乎没有热起来。他们很大学半导体物理试卷pdf_366行业资讯网可能是真诚地纪念几个已故的超级英雄。在另一全国计算机等级考试贵州网_366行业资讯网次采访《团聚3与4》的编剧时,他曾说,“团聚4”的惯例不会像你想象的那样出现,它是一部颠覆你理解的电影,而……计算机网络技术与应用_366行业资讯网“死亡”是真实的。我只想告诉你这是真的。你越早接受它作为观众,你就越快能够进入下一个纪念阶段(因为可能还有人在联邦4中死去)。曼威的最后一部作品,《复仇者联盟4:最后一战》系列的最后一章将于4月24日炸毁国家庭院。

【责任编辑:admin】
最新文章
热门文章