在接触细节以揭示本文的模型如何工作之前，首先描述本文的输入和输出。
给定一个有|C|个句子的数据集C,{X1,X2,……，X|c|}。将每一个句子X表示成两种形式，词序列形式Xseq和词袋形式Xbow。将Xseq输入局部上下文模型，习得单词如何与其邻居共同出现。而将Xbow作为全局上下文模型的输入，捕获句子级的单词共现规律。
本文的目标是输出属性词的分布簇。然后根据Qiu et al.(2011)的实践，从每个聚类(按似然排序)中选取前N个名词(N作为超参数)作为提取的属性词，因为大多数方面都是名词。
正如上面提到的，局部上下文模块将词序Xseq作为其输入。在LCM模型中，首先对每个单词wn∈Xseq进行嵌入层处理，将其转换为嵌入向量en。然后采用长短时记忆(网络(Hochreiter and Schmidhuber, 1997)来探索局部上下文。单词嵌入e1, e2，…， e|x|通过循环探索左邻居的单词共现处理到隐藏状态。具体来说，对于单词wn，其隐含状态hn为:
我们的全局上下文建模模块受到了以前使用LDA-fashion贝叶斯图形模型发现属性词的实践的启发(Lin和He, 2009)。我们假设在给定的语料c中嵌入了K个潜在属性因子。每个因子φk (K = 1,2，…(K)在词汇V上用分布词聚类表示。
同样受到神经主题模型(Miao et al.， 2017)的启发，我们采用了带有编码器和解码器的可变自动编码器(VAE) ，以类似于主题模型样式的数据生成过程。在这样做的过程中，我们使潜在属性，即在全局和局部上下文中捕获单词共现，能够在神经结构中学习。主要涉及两个步骤:首先，将输入语句x (BoW形式xbow)编码为全局表示z，以z为条件，加上局部表示hn，解码器进一步生成xbow’，。在本节的其余部分中，我们首先介绍编码器如何从全局上下文学习全局表示z。然后，我们将介绍如何将全局表示和局部表示耦合在一起进行数据生成。
编码器被用于从xbow去学习全局表示z.假设全局条件下的词满足高斯分布，以平均µ和标准差σ为优先。其估算公式定义为:
从局部上下文模型中，我们得到了隐状态hn（n = 1,2,……，|x|）,接下来描述如何将hn与全局表示z耦合。
具体来说，我们对局部表示中的隐藏状态hn采用注意机制(Bahdanau et al.， 2015)，该机制在感知全局信息的情况下，旨在识别x中能够有用地表示其属性因素的单词。我们设计了注意权重αn来衡量单词wn和x的全局表示z之间的相似度:
给定全局表示z和全局范围局部表示c，解码器在两者上进行数据生成过程。对于每个输入句子x，我们假设每个单词wn∈Xbow是根据其属性混合， θ，反映x的属性因子组成的Kdim分布进行采样的。然后用z和c估计θ，传递x单词的全局和局部上下文。描述x生成过程的故事是:
本文发布于:2024-01-27 21:42:02，感谢您对本站的认可！
本文链接：https://www.4u4v.net/it/17063629222801.html
版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。
| 留言与评论（共有 0 条评论） |
