【研发笔记：粤语文句的情报挖掘】

在研发社会媒体舆情挖掘的中文系统过程中，遇到一些粤语的帖子，看上去似懂非懂的。从机器处理角度来看，方言与行业用语类似，算是一种子语言（sublanguage），可以看作是普通话的变体。其中绝大多数的区别在词汇层，句子结构大同小异。于是决定采用先把粤语文句自动翻译成普通话的方法，然后再 feed 到普通话的主体系统去做分析和挖掘，这样比较简便可行，系统接口清晰，主体中文系统无需改变即可识得广东话。研发一个句对句自动翻译系统作为前处理太过繁难，对于子语言而言，有些牛刀宰鸡了。于是决定退回到上个世纪50年代的词对词第一代机器翻译（word-for-word MT）的路子上来（见【立委科普：机器翻译】），再加上一点儿有限语境消歧（local context disambiguation），应该是可以基本满足要求的：我们不追求完美的翻译，只要翻译过来的普通话大体可读就差不多了。这样的项目不大不小，需要语言数据分析，编写机器翻译词典，上机调试，正好适合做研究生的暑期实习。一个暑假下来，在指导暑期实习生的过程中，我这个原来对粤语一窍不通的语言学家，也差不多成了一个半吊子粤语实践者了：虽然不会发音，但看文字大体89不离10了，也算是收获。从系统来看，这个项目完成得不错，编写了一部6000多词条的机器翻译转换（翻译）词典，增加了两个粤语上下文规则的小模块，加上编写出一个粤语识别的程序，可以宣称支持粤语这个子语言的处理和舆情挖掘了。测试结果看也很不错，可以对付80%以上的粤语现象，今后的工作主要是词典维护和在调试中慢慢提高质量（incremental enhancement），无需大手术，感觉对这个方案的设计和执行基本满意。

本文引用地址：http://blog.sciencenet.cn/blog-362400-617394.html