《数据算法:Hadoop/Spark大数据处理技巧》介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这还概要介绍了MapReduce、Hadoop和Spark。 主要包括: 完成超大量交易的购物篮分析。 数据挖掘算法(K-均值、KNN和朴素贝叶斯)。 使用超大基因组数据完成DNA和RNA测序。 朴素贝叶斯定理和马尔可夫链实现数据和市场预测。 推荐算法和成对文档相似性。 线性回归、Cox回归和皮尔逊(Pearson)相关分析。 等位基因频率和DNA挖掘。 社交网络分析(推荐系统、三角形计数和情感分析)。
Spark SQL 是 Spark 技术体系中较有影响力的应用(Killer application),也是 SQL-on-Hadoop 解决方案 中举足轻重的产品。《Spark SQL内核剖析》由 11 章构成,从源码层面深入介绍 Spark SQL 内部实现机制,以及在实际业务场 景中的开发实践,其中包括 SQL 编译实现、逻辑计划的生成与优化、物理计划的生成与优化、Aggregatio算子和 Joi算子的实现与执行、Tungste优化技术、生产环境中的一些改造优化经验等。 《Spark SQL内核剖析》不属于入门级教程,需要读者对基本概念有的了解。在企业中任职的系统架构师和软件开发人员,以及对大数据、分布式计算和数据库系统实现感兴趣的研究人员,均适合阅读《Spark SQL内核剖析》。