Python数据挖掘在高校人才引进中的应用摘要：随着大数据时代的来临、互联网技术的快速发展，如何从海量数据中挖掘出潜在的、有价值的信息，成为当下热门的研究和实践方向之一。Python因其强大的科学计算能力成为数据挖掘领域不可或缺的工具。基于Python语言对高校人事、科研及互联网数据进行挖掘和分析，构建人才发现系统，为高校引进高水平人才提供决策支持。关键词：Python，Scrapy网络爬虫，数据挖掘，Skleam，人才引进一、引言大数据时代，数据的规模在不断扩大，数据呈现出体量大、多样性、价值密度变低、关系复杂的特点。从一般的信息系统中获取具有决策价值的信息变得越来越困难。如何做好高校人才队伍长期发展规划，满足高校快速发展当中对高水平人才的需要，人事管理部门迫切需要拥有智慧的信息系统，对目前掌握的大量人事、科研、教学信息进行分析、挖掘，对学校引进人才进行科学规划与评测，对在校人员进行科学培养与管理提供决策支持。数据挖掘技术是一门涉及数理统计、人工智能以及知识工程等领域的新兴交叉学科，包含一套完整的过程。[1]该过程首先从数据库、数据仓库或大数据集中抽取潜在有价值的知识、模型或规则，然后使用这些知识做出决策。换一种说法，数据挖掘技术是通过多种复杂算法，在大量未加工数据中发现数据间潜在关系以及有效知识。近年来，数据挖掘技术在金融业、零售业、医疗和电信等多种行业都取得了显著成果。Python语言是当今最热门的程序设计语言之一。它是一种面向对象的语言，拥有较好的交互性、解释性。Python发展势头迅猛，在2017年热门计算机语言排行中，Python已超过Java和C，排名第一。Python开源社区用户活跃，越来越多的支持数据挖掘各项技术的代码库被开发出来，使其拥有强大的科学计算能力。目前Python语言是数据挖掘领域中最热门的工具之一。本文详细介绍了Python语言在数据挖掘领域简易而强大的功能，在对大量科研人员成果数据进行挖掘分析的基础上，指导高校人才引进工作。二、技术可行性数据挖掘的一般步骤为问题定义、数据采集、数据存储、数据预处理、数据建模和模型评估。Python在数据挖掘中的关键步骤如图1所示。数据来源有两处，一是从现有人事、科研系统导入，二是使用Scrapy框架爬取网络数据。然后把这些爬到的数据使用pymongo包存储到MongoDB数据库，从而在后续分析中使用。在数据预处理及数据挖掘阶段常用的Python工具包，包含Numpy、Pandas、Matplotlib、Skleam等。1.数据采集[2]通过爬虫技术，可以在指定网站上获取到想要的数据。Scrapy爬虫框架就是使用Python语言开发并封装的一个强大的爬虫工具。首先创建Scrapy项目，然后编写定制的爬虫规则，运行Scrapy项目，爬虫自动运行，即可获得想要的网络数据。2.数据存储大多数传统意义上的关系型数据库，在存储非单一数据格式上有较大的困难。通常在爬虫数据中，既有关系型数据，也有非关系型数据，所以更适合使用NoSQL非关系型数据库存储。NoSQL数据库数据模型更加灵活，数据间不存在关系，从而数据读写更简易，数据扩展更方便。本文研究选择当前热门的MongoDB数据库，对爬取的数据进行导入后存储，供后序操作使用。3.数据预处理数据预处理阶段首先对数据库中的各种数据进行清洗，填充空数据，更正无效数据，排除无关联属性数据等非正常数据。Python工具包的Numpy、Pandas、Matplotlib等工具提供了强大的数据处理及矩阵运算能力。数据预处理阶段一般对数据进行批量操作。利用以上Python工具包，结合数据预处理相关技术，就能够快速、大批量地对非法格式数据进行格式化操作。4.数据挖掘建模基于Python编写的Sklearn库在机器学习、数据挖掘领域具有很高的知名度，库中包含大量数据挖掘和机器学习的经典算法。同时库中也含有丰富的测试调试工具，对算法运行过程中所需参数进行调整和优化。Skleam工具包中封装的经典算法有分类、回归、聚类、关联规则、降维等，另外还包含模型选择和模型评估等模块。三、系统分析与设计本文将人事、科研系统数据和知网科研论文数据集成，对这些数据进行深度挖掘和统计分析，构建人才发现系统，从而实现高校人才发现、人才科研评价和研究热点发...