GPU时空大数据分析平台研究裴威[摘要]近年来，随着互联网技术的广泛应用，时空数据成为大数据分析的一个重要研究领域。OmniSci作为时空大数据分析平台，主要借助GPU大规模线程和高速计算力，承载亿万级时空数据分析和数据可视化的任务，并结合了地理信息系统GIS、商业数据分析BI系统和基于位置服务LBS三者的优点，为共享出行、O2O上门服务、快递物流、智慧交通、商业地理等互联网LBS应用提供强有力的基础设施服务。基于此，本文主要介绍了时空大数据分析平台OmniSci（MapD）的核心技术和系统架构。[关键词]GPU；时空数据；数据库doi：10.3969/j.issn.1673-0194.2019.08.075[]TP311.13[]A[]1673-0194（2019）08-0-021研究背景移动互联网的飞速发展和智能手机GPS模块的广泛应用，使基于位置的服务（LBS）呈爆炸式增长。共享出行、O2O上门服务、快递物流、智慧交通乃至商业地理等新一代LBS应用，对空间数据的存储、计算、管理和分析都提出了更高的要求。空间数据具有数据规模庞大（Volume）、数据查询频繁（Velocity）、数据类型多样（Variety）和数据价值巨大（Value）的特点，因此，有必要结合地理空间信息系统（GIS）、LBS兼具商业智能分析（BI）系统的优点，着手构建新一代时空数据分析平台。传统的GIS平台在国土、水利、地质、气象、水文、交通和市政等领域应用广泛，但受限于传统的C/S模式，在B/S模式的WebGIS应用上与主流互联网技术发展脱节，服务范围受限于局域网之内。以Esri公司的ArcGIS系统为例，该系统将空间数据以矢量的形式存储在文件中，并附带时间信息，可以精确表述空间数据的变化，也可以使用空间数据转换中间件，将空间数据存储在DBMS中进行管理。ArcGIS面临数据扩展性问题，在数据操作和服务性能上都面临很大的局限性，同时，处理空间数据量只有百万级，在性能上无法满足互联网LBS的应用需求。同时，传统的BI软件对空间数据的支持度不够，缺乏空间聚类、空间运筹、路径规划、地理热图、时空数据挖掘等方面的功能。基于此，LBS互联网公司往往要根据自身业务需要构建空间数据处理系统，比如百度地图、滴滴打车、美团外卖等。商家基于商业竞争方面的考虑，在对外接口上限制了操作类型和数据速率。此外，信息壁垒造成了空间数据信息孤岛效应，大量的空间数据由于没有充分利用相关信息，导致其无法催生出新的商业机会，是一种极大的资源浪费。近年来，以OmniSci（前MapD）、H2O.ai为代表的GPU加速数据分析平台发展迅速，在结合GIS、BI和LBS优点的基础上，可能成为新型时空数据分析平台的首选。2核心技术2.1GPU时空数据库OmniSci时空数据库采用GPU数据库技术进行查询，通过即时编译技术将用户的查询语句编译为可执行代码，并驻留在GPU中。由于GPU长于计算而弱于逻辑控制，基于迭代的Volcano查询执行模式不适应GPU运行，因此，OmniSci采用向量化查询执行引擎，在利用GPU大规模并发线程能力的基础上，采用多级缓存，进一步提升查询性能。OmniSci将点、线、面等空间数据类型作为数据库的原生类型，省去了传统数据库解决方案中的GIS中间件，让应用层可以直接获取时空数据库的高速处理能力。此外，OmniSci集成了高速数据可视化模块，采用数据驱动协同过滤的方式，让用户可以毫不费力地进行数据分析和可视化。2.2时空云计算平台以OmniSci云平台为基础，可以充分利用云计算的分布式、数据持久化、异步操作、无状态微服务（RESTful）的优点，构建稳定可靠、弹性伸缩、易于管理的新一代WEBGIS及商业智能数据分析平台，为智能交通、智能物流等智慧城市应用提供强大的存储和计算能力。用户不再考虑购置昂贵的服务器、显卡等基础设施，也无须聘请专业运维团队，就可以在OmniSci云平台上按计算量购买云服务。2.3数据驱动可视化技术OmniSci时空计算平台采用先进的数据驱动图表的前端库，依托于Vega和D3.js开源框架，极大地简化了数据可视化流程，非专业人士也可以定制出生动的数据可视化面板。传统的数据可视化方案需要专业人士使用Javascript语言操作网页中的绘图元素，但由于工作量巨大、可重用性差，割裂了数据分析和可视化处理流程。OmniSciImmerse可视化模块使数据展示与后端数据...