风云三尺剑，花鸟一床书---对联数据集和自动对联机器人

作者52nlp

1 月 8, 2019 #AI, #AINLP, #AINLP公众号, #Chatbot, #Marian, #msra, #NMT, #SMT, #TensorFlow, #人工智能, #周明, #对联工具, #对联数据, #对联机器人, #对联系统, #对联语料, #微软, #微软亚洲研究院, #微软对联, #机器翻译, #沈向阳, #深度学习, #深度学习对联系统, #神经网络机器翻译, #统计机器翻译, #聊天机器人, #自动对联工具, #自动对联机器人, #自动对联系统, #语料

很多年前看到过微软的自动对联工具，写了一篇《机器翻译与微软对联》博文，赞了MSRA用统计机器翻译（SMT）的思路做自动对联系统，当时开玩笑的说：

微软研究院的这个“对联语料库”的规模是67万对，所采用的技术是他们自己的web语料库自动获取技术。开玩笑的说，如果周明老师能给我这个语料库，我也能几天之内构建一个简单的“52nlp自动对联系统”。

前段时间看到了一份对联语料：couplet-dataset

https://github.com/wb14123/couplet-dataset

这份数据包含70万条对联数据，按字切分，作者很用心的给大家准备了训练集、测试集还有词汇表；同时还开源了一个基于Tensorflow的深度学习工具来训练自动对联模型： seq2seq-couplet

https://github.com/wb14123/seq2seq-couplet

感兴趣的同学可以直接上手操作，作者甚至还提供了Demo供大家把玩，不过目前貌似需要科学上网才能访问：

https://ai.binwang.me/couplet/

对我来说，看到这份数据的第一想法就是用神经网络机器翻译（NMT）的思路来尝试自动对联系统，这里NMT开源工具可选择的范围很广，我还是选择了Marian，跑了一个简单的对联“翻译”模型，现在接入AINLP公众号聊天机器人，感兴趣的朋友可以一试。具体方法请关注AINLP公众号，然后后台和AINLP聊天机器人互动：