sequence2sequence 论文总结
问题：对于DNN(Deep neural network )来说，其需要输入和输出的维度是已知的并且是固定的.但是对于序列问题，常常是长度不固定的，因此传统DNN结构是不可用的.
在本篇文章中直接使用LSTM网络结构来解决这个问题，基本想法就是使用一个LSTM结构来处理输入，由于输入是序列，处理的时候是按序列时间步来处理的，经过处理后得到一个固定维度的向量，最后使用另一个LSTM结构来对输出的固定长度的向量进行处理得到最终输出向量，此时输出向量长度是可变的。具体我们看图：
首先第一点：第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出 .
第二点:LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去。
注意第二个LSTM结构不尽以W作为输入，而且还继承了前一个LSTM的隐层状态，而LSTM的三道门结构可以保证时序信息的整合，因此这样的结构是可行得.
RNN对时序的处理是这样的：
给定一个序列输入
(
x
1
,
x
2
,
.
.
.
,
x
T
)
(x_1,x_2,...,x_T)
(x1,x2,...,xT),那么我们可以通过一个RNN结构得到一个序列输出
(
y
1
,
y
2
,
.
.
.
.
,
y
T
)
(y_1,y_2,....,y_T)
(y1,y2,....,yT)，通过训环执行下面式子:
h
t
=
s
i
g
m
(
W
h
x
x
t
+
W
h
h
h
t
−
1
)
h_t=sigm(W^{hx}x_t+W^{hh}h_{t-1})
ht=sigm(Whxxt+Whhht−1)
y
t
=
W
y
h
h
t
y_t=W^{yh}h_t
yt=Wyhht
这里我们就成
h
t
h_t
ht是RNN在t时刻的隐藏状态，可以看见 这样的去处理序列结构的化输入输出都必须是相同长度的，这样就不能对应变长的输出（自然语言处理问题基本上输入输出序列长度是不同的），一个简单的解决就是前面提到的两点：首先第一点，第一个LSTM结构中没有使用每个时间步的输出，而只使用了最后一个时间步输出(隐层状态) .第二点，LSTM是循环神经网络一种，第二个LSTM结构将上一个时刻输出作为当前输入，这样就可以不断循环下去得到不同长度的输出。
用概率学来解释：
整个LSTM结构是为了去估计条件概率
p
(
y
1
,
y
2
,
.
.
,
y
T
′
∣
x
1
,
x
2
,
.
.
,
x
T
)
p(y_1,y_2,..,y_{T{'}}|x_1,x_2,..,x_T)
p(y1,y2,..,yT′∣x1,x2,..,xT),这里
T
T
T不一定等于
T
′
T{'}
T′。过程是这样，首先第一个LSTM层将输入
x
1
,
x
2
,
.
.
,
x
T
x_1,x_2,..,x_T
x1,x2,..,xT处理为一个固定长度向量
v
v
v，然后在第二个LSTM中进行标准的循环网络计算，第二个LSTM结构以上一个LSTM的最后输出(隐层状态)作为第一个时间步输入，并且继承上一个LSTM的隐层状态
v
v
v,也就是用
v
v
v初始化自己的隐层状态.所以有：
p
(
y
1
,
y
2
,
.
.
,
y
T
′
∣
x
1
,
x
2
,
.
.
,
x
T
)
=
∏
t
=
1
T
′
p
(
y
t
∣
v
,
y
1
,
y
2
,
.
.
,
x
t
−
1
)
p(y_1,y_2,..,y_{T{'}}|x_1,x_2,..,x_T)=\prod_{t=1}^{T{'}}p(y_t|v,y_1,y_2,..,x_{t-1})
p(y1,y2,..,yT′∣x1,x2,..,xT)=t=1∏T′p(yt∣v,y1,y2,..,xt−1)
比如我们学习 a , b , c a,b,c a,b,c到 α , β , γ \alpha,\beta,\gamma α,β,γ的映射，那么输入时按 c , b , a c,b,a c,b,a的顺序输入，通过这种方式，使 a a a和 α \alpha α靠的更近， b b b和 β \beta β靠的更近.
因篇幅问题不能全部显示，请点此查看更多更全内容
Copyright © 2019- vipyiyao.com 版权所有 湘ICP备2023022495号-8
违法及侵权请联系：TEL:199 18 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务