大数据下基于spark的电商智能推荐云平台的研究【摘要】本文在“互联网+”背景下对基于spark的电商智能推荐云平台进行了研究。首先阐述了该平台研究的意义、spark技术的主要功能和系统架构，最后探讨了基于spark的电商智能推荐云平台的设计。【关键词】大数据；spark；智能推荐；云平台：TP391.3：A：2095-2457（2018）26-0105-002DOI：10.19694/j.cnki.issn2095-2457.2018.26.0450引言随着“互联网+”和“移动互联网+”等新一代...
基于预测的spark动态资源分配策略梁毅程石帆常世禄刘飞摘要：分布式内存计算平台spark是海量数据处理领域的最新技术进展。动态资源分配下spark可根据应用的负载情况动态地追增、关闭任务执行器。然而，关闭任务执行器会造成缓存数据丢失，导致不必要的重计算开销，该情况在spark交互式数据查询应用中尤为常见。为尽量减少任务执行器关闭以提升查询效率，设计实现一种基于预测的spark动态资源分配策略。该策略基于马尔科夫理论构...
spark核心技术原理透视一（spark运行原理）-加米谷大数据在大数据领域，只有深挖数据科学领域，走在学术前沿，才能在底层算法和模型方面走在前面，从而占据领先地位。spark的这种学术基因，使得它从一开始就在大数据领域建立了一定优势。无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。spark提供的基于RDD的一体化解决方案，将MapReduce、Streaming、SQL、MachineLearning、GraphProcessing等模...
