试论建设基于“SAPHANA”技术的公安大数据分析应用平台［摘要］大数据时代公安部门所拿握的各项数据越来越多，传统的结构化数据库系统面对越来越纷繁复杂的非结构化数据越来越吃力，在时效性上难以起到预期的作用，因此更高效、更便捷的SAPIIANA内存数据库运算技术应运而生，本文将试论在公安大数据分析平台引入“SAPHANA”技术的可行性和优越性，以及该技术将对公安工作产生的变化与影响。［关键词］公安大数据；SAPHANA；数据分析中图分类号：TP311.13文献标识码:A文章编号:1009-914X(2015)05-0141-011引言近年來，大数据这个概念被越來越多的提及，信息大爆炸的时代已经到来，现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。公安工作与大数据也已然开始产生密切的联系，基于各种技术的大数据平台也在被建立起来，本文就基于“SAPHANA"技术的公安大数据分析平台做一个展望。2公安工作对大数据平台的需求公安部门掌握的数据越来越多，对于这些不同来源、不同类型、不同格式的数据，现冇的公安警务数据平台无论是规模还是架构都很难适应在海量数据场景下的数据管理和分析，直接影响了公安形势预判和重大决策，因此，在现阶段建设新的能够匹配公安业务场景的大数据系统是公安部门的迫切需求。新建设的公安大数据系统，需要做到：PB级数据存储管理，多种数据类型与协议支持，高质量的数据整合，高效的数据分析能力,可管理和开放性，安全可靠，自主可控。3现有大数据平台的缺陷对于数据可以划分为两类：结构化数据和非结构化数据，非结构化数据没有统一的大小和格式，给分析和挖掘带来了很大的挑战。而现有的数据平台对非结构化的数据处理起来就非常的吃力。面对冗杂无序的庞大数据，简单的人海战术已经跟不上社会发展的步伐，因此更高效、更便捷的SAPHANA内存数据库运算技术应运而生，它的产生让数据存储、运算速度得到了极大的提高，让TB乃至PB级数据分析、处理和存储变得更加快捷稳定，也让大数据分析平台的搭建有了新的选择途径。4SAPHANA技术HANA(High-PerformanceAnalyticAppliance)是徳国SAP软件公司开发的是一个软硬件结合体。它能够提供高性能的数据查询功能，可以直接对大量实吋业务数据进行查询和分析，不需要对业务数据进行建模、聚合。4.1SAPHANA技术特点4.1.1软件方面相对于Oracle等传统关系型数据库，SAPHANA内存数据库不仅在维护数据的完整性、一致性方面做到了最好，而且在传统关系型数据库并不擅长的领域一一难以顾及数据处理实效耍求方面实现了突破。追本溯源,之所以SAPIIANA实现了对Oracle等传统关系型数据库的超越，是因为其釆用了改进的数据压缩、行列式数据存储和内存计算技术。将海量数据经过高效压缩存储至HANA的大内存数据库，提高查询和分析效率。数据压缩：SAPHANA采用数据字典的方法对数据进行压缩，用整数来代表相应的文本。对于数据格式相対单一的结构化数据源，这种压缩方式非常冇效，数据读写速度也因此得到提升。行列式存储：有人曾形象的比喻，HANA可以“识别”用户在插入数据和输出数据时的真正意图。实际上这是因为HANA采用了行列式存储方式,即增量更新(插入数据)时，HANA将它视为行式数据库；而输出数据时，HANA又充分利用其列式结构适合数据压缩的优点稳定快速的输出数据。而传统关系型数据库则需要牺牲其中一种方式來保证速度。内存数据库计算技术：根据计算机组成原理我们知道数据是从磁盘->通过数据总线和控制器(RAID,I/Ohub等)一->内存一->CPUCache—>CPU进行数据处理(CPU寄存器)oHANA内存数据库，就是将数据放在内存中直接操作，跨过了数据总线和控制器，直接与CPUcache进行数据传输，数据读写速度比磁盘读写速度高出几个数量级，极大地提高了计算速度，缩短了时间。内存的访问速度比磁盘快1,000,000倍。传统磁盘读取是5毫秒,内存读取是5纳秒，比SSD和闪存快1000倍。虽然寄存器和Cache的读取数据的速度比内存快，但在实际的数据处理中却应用较少。在传统的数据库中，由于内存存储的数据有易失性，系统断电或重启后内存中的数据就会丢失，对此SAPIIAHA采取后台异步进程savepoint(Datapersistence)定时把内存数据存...