生成式模型是无监督学习这一领域的一个重要话题。对于连续数据（如图片）的建模，自2014年生成式对抗网络（Generative Adversarial Network, GAN）发表以来，研究已取得了不少进展。然而，对于离散数据，特别是离散序列的建模与生成，针对这个问题的研究仍没有产生足够令人满意的突破。

对于这一类数据建模问题，经典算法如极大似然估计（Maximum Likelihood Estimation, MLE）很难称得上是理想的算法。在数据有限的情况下，它和生成式任务并不能完美地相适应。如下图，MLE等价于优化单侧KL散度KL(P||G)：

由于KL散度不对称，对于预测中的失误，MLE这一目标函数能够给出比较好的惩罚进而给予纠正；但是对于潜在的生成失误，MLE并不能很好地起到作用。

针对这一问题，研究者们提出了序列生成式网络（