基于层叠隐马模型的汉语词法分析刘群1,3张华平1,2俞鸿魁1程学旗11中国科学院计算技术研究所北京1000802中国科学院研究生院北京1000393北京大学计算语言学研究所北京100871E-mail:{liuqun,zhanghp,yuhongkui,c新疆}@ict.ac摘要:本文提出了一种基于层叠隐马模型的汉语词法分析方法，旨在将汉语分词、词性标注、切分排歧和未登录词识别集成到一个完整的理论框架中。在分词方面，采取的是基于类的隐马模型，在这层隐马模型中，未登录词和词典中收录的普通词一样处理。未登录词识别引入了角色HMM：Viterbi算法标注出全局最优的角色序列，然后在角色序列的基础上，识别出未登录词，并计算出真实的可信度。在切分排歧方面，作者提出了一种基于N-最短路径的策略，即：在早期阶段召回N个最佳结果作为候选集，目的是覆盖尽可能多的歧义字段，最终的结果会在未登录词识别和词性标注之后，从N个最有潜力的候选结果中选优得到。不同层面的实验表明，层叠隐马模型的各个层面对汉语词法分析都发挥了积极的作用。作者实现了基于层叠隐马模型的汉语词法分析系统ICTCLAS，该系统在2002年的973专家组评测中获得第一名，在2003年汉语特别兴趣研究组(theACLSpecialInterestGrouponChineseLanguageProcessing,SIGHAN)组织的第一届国际汉语分词大赛中综合得分获得两项第一名、一项第二名。这表明：ICTCLAS是目前最好的汉语词法分析系统之一，层叠隐马模型能够解决好汉语词法问题。关键词:汉语词法分析;分词;词性标注;未登录词识别;层叠隐马模型;ICTCLAS中图法分类号:TP391.2文献标识码:AChineseLexicalAnalysisUsingCascadedHiddenMarkovModelLIUQun1,3ZHANGHua-Ping1,2YUHong-kui1CHENGXue-Qi11InstituteofComputingTechnology,TheChineseAcademyofSciences,Bei激ng,100080CHINA2GraduateSchooloftheChineseAcademyofSciences,Bei激ng,100039CHINA3Inst.ofComputationalLinguistics,PekingUniversity,Bei激ng,100871CHINAEmail:{liuqun,zhanghp,yuhongkui,c新疆}@ict.acAbstract:ThispaperpresentsanapproachforChineselexicalanalysisusingCascadedhiddenMarkovmodel(CHMM),whichaimstoincorporateChinesewordsegmentation,Part-Of-Speechtagging,disambiguationandunknownwordsrecognitionintoanintegratedtheoreticalframe.Aclass-basedHMMisappliedinwordsegmentation,andinthismodelunknownwordsaretreatedinthesamewayascommonwordslistedinthelexicon.UnknownwordsarerecognizedwithreliabilityonrolessequencetaggedusingViterbialgorithminrolesHMM.Asfordisambiguation,theauthorsbringforthann-shortest-pathstrategythat,intheearlystage,reservesthetopNsegmentationresultsascandidatesandcoversmoreambiguity.VariousexperimentsshowthateachlevelintheCHMMcontributestoChineselexicalanalysis.AnCHMM-basedsystemICTCLASwasaccomplished.Thesystemrankedtopintheofficialopenevaluation本文得到国家重点基础研究项目(G1998030507-4；G1998030510)和计算所领域前沿青年基金项目20026180-23资助,whichwasheldby973projectin2002.AndICTCLASachieved2firstranksand1secondrankinthefirstinternationalwordsegmentationbakeoffheldbySIGHAN(theACLSpecialInterestGrouponChineseLanguageProcessing)in2003.ItindicatesthatICTCLASisoneofthebestChineselexicalanalyzers.Inaword,CHMMiseffectivetoChineselexicalanalysis.Keywords:Chineselexicalanalysis;wordsegmentation;POStagging;unknownwordsrecognition;CascadedHiddenMarkovModel;ICTCLAS1引言词是最小的能够独立活动的有意义的语言成分[1]。在汉语中，词与词之间不存在分隔符，词本身也缺乏明显的形态标记，因此，中文信息处理的特有问题就是如何将汉语的字串分割为合理的词语序列，即汉语分词。汉语分词是句法分析等深层处理的基础,也是机器翻译、信息检索和信息抽取等应用的重要环节。从1983年第一个实用分词系统CDWS[2]的诞生到现在，国内外的研究者在汉语分词方面进行了广泛的研究，提出了很多有效的算法。我们可以粗略地...