本书是中山大学重点学科建设成果,获中国矿物岩石地球化学协会大数据与数学地球科学专业委员会推荐,是我国*部地质科学大数据与机器学习教材。本书是中山大学研究生试用研究型教材,对运用大数据挖掘与机器学习算法解决地球科学问题大有裨益。适合地质科学领域研究生和高年级本科生做教材,也可供科研人员研究时参考。它系统地介绍了地球科学大数据挖掘与机器学习的基本框架与原理,重点分析高维数据的降维、分类与预测、大图形社区结构识别、无限流数据处理、机器学习及人工智能地质学的建模过程,对必要的应用场景,使用Python语言给出案例。
在新媒体时代,如果对新闻报道、网上搜索的结果或者所谓的 专家告知 不加思考地完全相信,那你就等着上当受骗吧! 本书围绕当今*受瞩目的大数据科学理论,通过日本政府公布的公开数据,集中针对访日游客的增加、舆论调查的可靠性、 安倍经济学 的成果、东日本大地震后的状况、相对贫困、失业率的下降、年轻人远离ХХ、全球变暖问题、减肥、恩格尔系数的上升等10个主题进行数据解读,帮助读者模拟体验数据读取方法,提高理解和分析数据的能力,挖掘出数据背后隐藏的真相。 作为 大数据分析 的超级入门书,即使不擅长数学、不了解统计学的人,读完本书也可以彻底掌握数据解读方法!
本书以大数据为研究背景,系统分析了传统数据技术当前存在的问题以及面临的挑战,并对比了当前主流的面向大数据的数据库解决方案,在此基础上阐述了笔者的研究工作:基于MapReduce平台高处处理大数据的OLAP研究。书中反应了当前大规模数据仓库研究的热点和成果,值得大数据研究的人员参考和应用。
本书基于作者近几年来的研究开发成果及应用实践,对物联网大数据技术体系进行了系统归纳,阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术,并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台,介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例,均来自作者所在团队的实际应用,大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。
进入大数据时代,让数据开口说话将成为司空见惯的事情,本书将从大数据时代的前因后果讲起,全面分析大数据时代的特征、企业实践的案例、大数据的发展方向、未来的机遇和挑战等内容,展现一个客观立体、自由开放的大数据时代。
本书主要介绍大数据可视化的基本概念和相应的技术应用。全书内容共10章,分别为大数据可视化概述、大数据可视化原理、大数据可视化方法、数据可视化工具、Excel数据可视化、Tableau数据可视化、ECharts与pyecharts数据可视化、Python数据可视化、大数据可视化行业分析以及大数据可视化综合实训。 本书将理论与实践操作相结合,通过大量的案例帮助读者快速了解和应用大数据分析的相关技术,并且对于书中重要的、核心的知识点加大练习的比例,以使读者达到熟练应用的目的。 本书可作为大数据、云计算、软件技术、信息管理、计算机网络等专业的教材,可也作为大数据爱好者的自学参考书。
《海量点云数据处理理论与技术》共分8章。第1章绪论,简要介绍海量点云处理技术的基础理论、方法以及主要内容。第2章介绍海量点云数据的预处理,包括点云数据的获取方案,点云的去噪、压缩、配准方法,以及点云空洞的插值方法。第3章介绍海量点云数据的重建方法,系统介绍常用的点云重建算法与特点,并详细介绍基于特征和基于切片的点云重建方法。第4章介绍点云数据及模型的质量评价,从理论和实际两方面对点云质量进行分析,总结点云配准过程中的误差传播模型,系统地归纳三维模型的质量评定方法。第5章介绍点云数据处理技术,详细介绍国内外常用的海量点云数据处理软件以及三维图像库。第6章介绍地面三维激光扫描仪在隧道监测领域的应用,系统介绍基于三维激光扫描技术的隧道点云数据获取、处理及变形分析方法。第7章介绍地面三维
本书从理论知识入手,结合数据仓库的概念帮助读者更好地理解Hive,在掌握Hive相关理论知识的基础上,逐步深入地学习Hive。 工欲善其事,必先利其器 ,首先从创建虚拟机并安装Linux操作系统开始逐步完成Hive的部署,然后在部署完成的Hive环境基础上,学习Hive数据定义语言、Hive数据操作语言和Hive数据查询语言的相关操作,在学习了上述三种语言之后,接下来深入学习Hive的其他功能,包括Hive内置函数、Hive自定义函数、Hive的新特性事务以及Hive的相关优化,从而帮助读者掌握Hive的强大功能和特性。后,本书通过一个综合项目 教育大数据分析平台,使读者对Hive数据仓库在实际应用中涉及的相关知识内容具有更深入的理解,在此项目中不仅会涉及使用Hive实现数据仓库分层、数据转换和数据分析的相关操作,而且还涉及使用Sqoop将数据仓库中的数据进行导出和导入,以
《数据密集型计算和模型》一书涵盖了数据密集型计算的体系结构、计算模型和编程方法,内容系统全面,着重介绍原理和方法。并配以图片,便于读者理解。 《数据密集型计算和模型》一书前半部分,重点介绍了数据密集型计算的概况,及其与高性能计算和云计算的异同、应用领域以及面临的挑战问题;巨量数据时代的计算机组织体系和技术;内存计算组织体系和技术;等等。后半部分重点介绍了几个常见的计算模型,如MapReduce模型、BSP模型和Dryad模型,并综合介绍了一些专门领域的计算模型,如All-Pairs模型等。 数据密集型计算是大数据时代的标志。《数据密集型计算和模型》一书借鉴了近年来在该领域的研究成果,有一定的创新,其出版较好地弥补了市场空白。
本书覆盖了数据仓储构建的所有主要领域,包括数据仓储的定义和环境;数据仓储的4个类型、对数据仓储的5类共15个要求;2个方法论的总结及3个构建方法。本书给出了一个高性能的参照系统结构。基于此参照系统结构,本书系统地讨论了大量设计议题、并包括21个设计建议、8个实践建议、7个设计原则、27个通用算法和技术、12个元数据驱动的通用操作符、7个工作过程、4个范式基础及范式原则。
《汇计划在行动》全面介绍了《上海市推进大数据研究与发展三年行动计划( 2013-2015 年)》的编制和实施过程。系统介绍了对大数据概念、内涵、技术和应用方面的认识,介绍了在上海信息化建设的基础和现状之上,如何让大数据在上海落地,并着力解决大数据应用过程中的关键问题,开展数据科学前瞻研究和人才培养;对三年行动计划进行了全面解读。《汇计划在行动》还介绍了“上海大数据产业技术创新战略联盟”发起、组建、运行方面的情况;介绍了“上海市数据科学重点实验室”的研究方向、管理模式和开放模式。 《汇计划在行动》可供大数据及相关产业的从业人员,以及政府相关部门的决策、管理人员参考。
《城市发展的数据逻辑》通过对城市空间数据和非空间数据(如地形数据、建筑物数据、城市环境数据等)反映城市发展现状和历史的数据进行分析、挖掘,论述城市发展的规律和内在逻辑,为城市发展提供了重要的分析工具和科学依据。 《城市发展的数据逻辑》系统、全面地介绍了与城市发展有关的各种空间数据。在此基础上介绍了国内外对城市生产的研究现状,总结了目前国内外城市大数据研究的形成和发展、城市生长模型及其新方法,并借助一些典型案例,介绍应用城市生长技术的流程与方法。《城市发展的数据逻辑》还介绍了GIS、RS、GPS等新技术在城市发展及城市规划中的应用,以及如何使用新的信息技术方法揭示城市发展过程中诸如道路交通、城市建筑、公共设施等城市因子与城市发展的内生联系。 《城市发展的数据逻辑》的读者对象是城市发展领域