基于trigger对的长距离蒙古语语言模型*刘志文1,侯宏旭1,李沙茹拉2，柳林1(1.内蒙古大学计算机学院，内蒙古呼和浩特010021；2.内蒙古大学电子信息工程学院，内蒙古呼和浩特010021)摘要:为了克服在蒙古语语言模型建模过程中n-gram缺乏长距离信息的弱点,本文在统计语言模型的基础上,提出了一种基于trigger对的长距离蒙古语语言模型，该模型采用统计方法进行自然语言建模。本文简要介绍了基于trigger对的长距离蒙古语语言模型，并给出了句长补偿、参数估计和数据平滑方法，并在汉语-蒙古语机器翻译系统实现了该方法，实验结果表明该技术克服了n元文法语言模型描述距离小于n的缺点，并提高了翻译效果，该模型也为自然语言建模提供了一定的参考。关键词:trigger对；蒙古语；语言模型；平滑中图分类号：TP391文献标识码：ALong-DistanceMongoliaLanguageModelBasedonTriggerPairLiuZhiwen1,HouHongxu1,LiSaragul2,LiuLin1(1.CollegeofComputerScience,InnerMongoliaUniversity,Hohhot010021,China;2.CollegeofElectronicInformationEngineering,InnerMongoliaUniversity,Hohhot010021,China;)Abstract:Toovercomethen-gram’slackoflong-distanceinformationinMongolianlanguagemodelingprocess,thispaperputsforwardtolong-distanceMongolialanguagemodelbasedontriggerpairtonaturallanguagemodelingprocess.Long-distanceMongolialanguagemodeladoptsthestatisticalmethodtosettingupthenaturallanguagemodels.Thispaperintroducesthelong-distanceMongolialanguagemodel,givesmethodsofsentencecompensation,parametersestimateanddatasmoothing.Theexperimentalresultsshowthatthismodelcanovercometheshortcomingofn-grammodelthatitonlycandescribethewordpairsbeinglessthennwordsapart,improvesthetranslationresults,andalsoprovidesomereferenceforsettingupthenaturallanguagemodels.Keywords:Triggerpair;Mongolian;Languagemodel;Smoothing1引言统计语言模型[1]在机器翻译、文字处理、文字检索等领域有着广阔的应用。作为机器翻译的一项基础性工作，蒙古语语言模型的建立不能照搬汉语、英语等语言中使用的语言模型方法[2]。本文作者针对蒙古语语言的特点提出了一种新的蒙古文统计语言模型，即基于trigger对的长距离蒙古语语言模型，并应用于汉-蒙机器翻译系统[3]。*基金项目：内蒙古自然基金项目“蒙古语文本语言模型的构建研究”(200607010805)资助作者简介：刘志文(1982～)，男，硕士研究生，主要研究方向：信息处理。通讯作者：侯宏旭（1972～），男，副教授，主要研究方向：中文信息处理。蒙古语属于黏着型语言。蒙古语的构词，构形都是通过在词干后缀接不同的词尾而实现的，并且它们还可以层层缀接，这使得蒙古语词法形态变化丰富且复杂[4]。蒙古语的构形附加成分负载着非常丰富的语法信息，所以如果只对整词（即词干+构形附加成分）或者词干进行统计，就会丢失大量语法信息，而这些信息对蒙古语语言模型的构建有着举足轻重的意义。所以有必要对蒙古语词干、词缀进行统计来得到语言模型信息。但是，在对蒙古语词干、词缀切分后进行统计，又会带来新的问题。以下面这句“工厂里工人们在工作”为例：名词“工人们”可以切分为一个词干和两个词缀，这会带来问题：如果用常用的n-gram来分析，分析的结果常常会是某个字内部的词干词缀的关系，而没有反应出两个或更多文字之间的联系。以常用的3-gram为例[5]，语言模型信息可以反映出3个字之间的关系，而蒙古语在进行了词干、词缀切分后，如果依然使用3-gram，那么反映出的可能是2个字甚至1个字的关系，而连3-gram可以反应3个字的长度都不足了。为了能够反映出更长距离的相关信息，作者使用了trigger对来描述更长距离上的关联信息[6]。如果词A的出现使得后文中词B出现，则称（AB）为一个trigger对[7]。其中A称作触发者（trigger），B称作被触发者（triggerword）。在自然语言中，这种情况是非常普遍的，也就是通常所说的词的习惯搭配现象。例如：如果词“奥运会”在文中出现，那么在后文中“2008”、“北京”等词出现的可能性...