第41卷第6期计算机科学V01．41No．62014年6月ComputerScienceJune2014PBPP：列存储系统中基于传递块缓冲区的流水线并行处理丁祥武张光辉(东华大学计算机与科学技术学院上海201620)摘要片上多核处理器(C御)凭借其低功耗和低成本等优势迅速成为处理器市场的主角，它为多线程的实现提供了硬件支持。列存储技术在分析型应用中具有显著的优势。在列存储系统中，查询优化依然是最重要的问题之一。在列存储系统中，利用多核资源提高查询处理性能具有较大潜力。文中通过对查询执行器生成的物理查询树进行流水多线程设计，结合列存储的特点，建立传递块缓冲区，使主线程和辅助线程分别对传递块缓冲区读写，以提高查询性能。同时还提出使用操作系统中经典的“生产者和消费者”模式来解决线程之间的同步问题。提出的这些方法应用在实验室研发的列存储系统DWMS中，使用数据仓库基准测试集SSB验证了这些方法的有效性。实验结果表明，传递块缓冲区的设计使SQL的查询效率有了近50％的提升。关键词多线程，多核，列存储，传递块缓冲区，并行处理中图法分类号TP311文献标识码APBPP：PipelinedParallelProcessingBasedonPassingBufferinColumn-storeSystemDINGXiang-wuZHANGGuang-hui(SchoolofComputerScienceandTechnology，DonghuaUniversity，Shanghai201620，China)AbstractChipmultiprocessor(CMP)withlow-powerdissipation，lowcostadvantagesbecomesrapidlytheleadingroleofthemarket，anditprovideshardwaresupportformuhithread．Column-storehassignificantadvantagesinanalyticalapplications．Queryoptimizationisoneofthekeyissuesincolumn-store．Incolumn-store，multi-coreresourcescanira-proveperformanceofqueryprocessing．InordertoimprovequerypeHormanceofcolumn-stores，thispaperestablishedpassingblockbuffertomakemainthreadandworkerthreadtoreadandwriterespectivelydifferentpassingblocks，SOparentnodeandchildnodeofphysicalexecutiontreeexecuteparallel．Weusedclassicproducer-consumerpatterntOsolvetheproblemofsynchronizationbetweenthethreads．Incolumn-storesDWMSdevelopedbyourlaboratory，experi—mentalresultsonbenchmarkdatasetSSBshowtheeffectivenessofthisdesign，anditcanimprove50％executionper-formanceforsometypicalcomplexqueries．KeywordsMultithread，Multicore，Column-store，Passingblockbuffer，Parallelprocessing本文提出了一个基于传递块缓冲区的流水并行化设计，1引言通过改变执行树中上下级操作节点传递数据的方式，提高列数据分析型应用日渐普遍和重要。大量的研究表明[2：存储的查询效率。这种设计将上下级操作节点之间直接通过列存储在分析型应用中具有显著的优势。列存储系统中的查传递块传递数据的方式改变为通过传递块缓冲区传递数据，询处理速度一直是用户关注的重点，是列存储研究的热点问对传递块缓冲区的读写分别采用不同的线程进行，这样可以题。充分利用多核CPU多线程的优势，提高查询效率。另外对传由于功耗和设计的限制，单纯地提高处理器主频已经非递块大小、缓冲区大小及其缓冲区的数量进行优化设置，进一常有限。现在处理器的发展趋势已经从单核高频处理器转向步提高查询优化的性能。了片上多核处理器(CMP)，由指令级并行向多线程并行发本文第2节主要介绍了多线程查询优化方面的相关工展[5|。设计高效的多线程，充分发挥多核处理器的优势，能显作；第3节主要介绍了本文所涉及的基本概念，尤其是传递块著提高运算性能。在列存储系统的查询过程中，通过查询语缓冲区的设计；第4节是本文的重点，详细设计了基于传递块句的不同操作和操作内使用多线程可以提高查询性能。本文缓冲区的查询执行；第5节进行相关实验验证；最后对本文的的主要研究工作是通过采用传递块缓冲区来提高操作节点之工作进行了总结。间的并行性。到稿日期：2013-08—18返修日期：2013—10-20本文受“核高基”国家科技重大专项基金项目(2010ZX01042—001—003—004)，国家自然科学基金项目(61070031，61070032)，上海市自然科学基金项目(11Z...