一种通用的少数民族语言语种和编码识别一种通用的少数民族语言语种和编码识别方法张海波1，吕雅娟1，刘凯1，华却才让2，刘群1（1中国科学院计算技术研究所自然语言处理实验组，北京，1011902青海师范大学藏文信息研究中心,青海西宁，810108）摘要：语种和编码识别是自然语言处理的基础环节。我国的一些少数民族语言有多种编码方式，增大了语种和编码识别的复杂性。本文提出了一种通用的基于统计的语种和编码识别方法，首先将编码粗识别为三类字符编码系列，然后结合三种粒度语言模型同时实现少数民族语言的语种和编码识别。该方法不依赖于各种少数民族语言特有的规则，便于扩展到新的语种和编码。实验结果表明，该方法对于维语、藏语、汉语、英语、阿拉伯语混合文本的语种和编码识别的准确率达101.95%以上，能够很好的完成少数民族语种和编码识别的任务。关键词：语种识别；编码识别；语言模型中图分类号:TP391文献标识码:A引言语种识别，就是识别出某种文本所属的语种，如中文、英文、藏文、维语等。编码识别，就是识别某种文本所属的编码，如UTF-8、GBK、ASCII、藏文班智达编码等。语种和编码识别是自然语言处理的基础环节。语种和编码识别的效果好坏，直接影响后续的过程，如机器翻译、词法分析及句法分析等。随着全球各个国家和地区人们之间的交往变得越来越频繁，突破语言障碍变得极为迫切。语种和编码识别在多语种语音识别前端、信息检索、军事情报收集、公共安全等领域的应用价值逐渐体现，受到了相关应用领域的关注。目前，对于语种识别的研究较为成熟。WilliamB.Cavnar（11014）[1]提出了使用N-GRAM语言模型进行语种识别，W.M.Campbell（2005）[2]提出使用SVM[3]——————基金资助：863重大项目课题“互联网语言翻译系统研制”子课题，课题编号2022AA01A207作者简介：张海波（11019－），男，黑龙江省尚志市人，2022级硕士研究生，主要从事自然语言处理方面一种通用的少数民族语言语种和编码识别方法张海波1，吕雅娟1，刘凯1，华却才让2，刘群1（1中国科学院计算技术研究所自然语言处理实验组，北京，1011902青海师范大学藏文信息研究中心,青海西宁，810108）摘要：语种和编码识别是自然语言处理的基础环节。我国的一些少数民族语言有多种编码方式，增大了语种和编码识别的复杂性。本文提出了一种通用的基于统计的语种和编码识别方法，首先将编码粗识别为三类字符编码系列，然后结合三种粒度语言模型同时实现少数民族语言的语种和编码识别。该方法不依赖于各种少数民族语言特有的规则，便于扩展到新的语种和编码。实验结果表明，该方法对于维语、藏语、汉语、英语、阿拉伯语混合文本的语种和编码识别的准确率达101.95%以上，能够很好的完成少数民族语种和编码识别的任务。关键词：语种识别；编码识别；语言模型中图分类号:TP391文献标识码:A引言语种识别，就是识别出某种文本所属的语种，如中文、英文、藏文、维语等。编码识别，就是识别某种文本所属的编码，如UTF-8、GBK、ASCII、藏文班智达编码等。语种和编码识别是自然语言处理的基础环节。语种和编码识别的效果好坏，直接影响后续的过程，如机器翻译、词法分析及句法分析等。随着全球各个国家和地区人们之间的交往变得越来越频繁，突破语言障碍变得极为迫切。语种和编码识别在多语种语音识别前端、信息检索、军事情报收集、公共安全等领域的应用价值逐渐体现，受到了相关应用领域的关注。目前，对于语种识别的研究较为成熟。WilliamB.Cavnar（11014）[1]提出了使用N-GRAM语言模型进行语种识别，W.M.Campbell（2005）[2]提出使用SVM[3]——————基金资助：863重大项目课题“互联网语言翻译系统研制”子课题，课题编号2022AA01A207作者简介：张海波（11019－），男，黑龙江省尚志市人，2022级硕士研究生，主要从事自然语言处理方面