本书从初学者易于理解的角度,以通俗易懂的语言、丰富的实例、简洁的图表、传统和现代数据特征的对比,将大数据这一计算机前沿科学如数家珍地娓娓道来。既介绍了大数据和相关的基础知识,又与具体应用有机结合起来,并借助可视化图表的画面感立体地为读者剖析了大数据的技术和原理,非常便于自学。本书内容包括大数据概论、大数据采集及预处理、大数据分析、大数据可视化、Hadoop概论、HDFS和Common概论、MapReduce概论、NoSQL技术介绍、Spark概论、云计算与大数据、大数据相关案例等内容。本书既可以作为想了解大数据技术和应用的初学者的教材,也适合作为培训中心、IT人员、企业策划和管理人员的参考书。
本书是中山大学重点学科建设成果,获中国矿物岩石地球化学协会大数据与数学地球科学专业委员会推荐,是我国*部地质科学大数据与机器学习教材。本书是中山大学研究生试用研究型教材,对运用大数据挖掘与机器学习算法解决地球科学问题大有裨益。适合地质科学领域研究生和高年级本科生做教材,也可供科研人员研究时参考。它系统地介绍了地球科学大数据挖掘与机器学习的基本框架与原理,重点分析高维数据的降维、分类与预测、大图形社区结构识别、无限流数据处理、机器学习及人工智能地质学的建模过程,对必要的应用场景,使用Python语言给出案例。
技术是把双刃剑,当我们在积极拥抱新技术的同时,也不能忽视其所带来的风险,比如当今大数据时代个人隐私和安全问题。本书是两位作者结合各自出色的专业知识和丰富的从业经验为大众倾力奉献的一本大数据时代隐私问题的普及读物。书中展示了我们在家庭和工作中的日常活动是如何成为大数据收集的一部分的。同时,列举大量的大数据应用以及安全和隐私相关案例,包括企业如何利用大数据进行营销、执法机构如何利用大数据执法等,也包括不法分子如何利用非法或合法的手段获取数据,如何利用社交网络进行犯罪。针对上述问题,本书也列出了一些工具、技巧用来检查和防范,这在当前很有现实意义。
本书系统地介绍过程挖掘的原理、方法、技术及其在教育领域的应用,重点介绍基于Petri net 的形式化挖掘技术和基于语义的挖掘技术,并举一个完整的挖掘大学校园学生行为特征的 案例。本书既有完整的理论框架又有专门的教育领域实践应用,可供计算机、大数据、人工智 能等相关专业领域的学生和研究人员参考。
本书以大数据为研究背景,系统分析了传统数据技术当前存在的问题以及面临的挑战,并对比了当前主流的面向大数据的数据库解决方案,在此基础上阐述了笔者的研究工作:基于MapReduce平台高处处理大数据的OLAP研究。书中反应了当前大规模数据仓库研究的热点和成果,值得大数据研究的人员参考和应用。
本书基于作者近几年来的研究开发成果及应用实践,对物联网大数据技术体系进行了系统归纳,阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术,并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台,介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例,均来自作者所在团队的实际应用,大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。
本书内容简介:数据挖掘和文本挖掘是当前信息技术中的一个重要研究领域;将遗传算法和社会演化算法应用于数据及文本挖掘方法研究,具有较大的理论意义和实用价值本书研究了基于遗传算法和社会演化算法的数据挖掘和文本挖掘方法,主要包括数据挖掘和文本挖掘中的属性约简问题、聚类问题,并将其应用于产品研发决策中所做主要工作包括:提出一种基于遗传算法和k-medoids算法的新的聚类方法;采用遗传算法和模式聚合进行文本特征降维;采用遗传算法和潜在语义索引进行文本特征降维;采用社会演化算法进行聚类;采用混沌社会演化算法进行聚类;采用改进的遗传算法和社会演化算法进行文本聚类研究;将文本挖掘应用到产品研发决策中,构建产品研发文本知识地图,以期提高产品研发的效率和质量。
CDA数据分析师系列丛书按照数据分析师规范化学习体系而定,对于一名初学者,应该先掌握必要的概率、统计理论基础,包括描述性分析,推断性分析,参数估计,假设检验,方差分析,回归分析等内容,这在《从零进阶!数据分析的统计基础》中进行了专业详细的讲解。其次,数据分析需要按照标准流程进行,即数据的获取、储存、整理、清洗、归约等系列数据处理技术,这在《如虎添翼!数据处理的SASEG实现》中利用SASEG和编程技术进行了操作过程的详解。经过处理的数据需要根据业务问题,利用相关方法进行建模分析,得出结果,结果检验,绘制图表并解读数据,这在《CDA数据分析师系列丛书:胸有成竹!数据分析的SASEG进阶》中进行了详细的讲解和操作分析。CDA数据分析师丛书整体风格是“理论>技术>应用”的一个学习过程,目的在于商业业务应用、职场数
集Python、Excel、数据分析为一体是本书的一大特色。本书围绕整个数据分析的常规流程:工具熟悉-获取数据-数据熟悉-数据处理-数据分析-分析结果进行Excel 和Python 对比实现,告诉你每一个过程中都会用到什么?过程与过程之间有什么联系。这样一本书既可以作为系统学习数据分析流程操作的说明书,也可以作为一本数据分析师案头 的实操工具书,随时备查。本书通过对比Excel 功能操作去学习Python 的实现代码,而不是直接上来就学习Python代码,大大降低了学习门槛,消除了读者对代码的恐惧心理。适合刚入行的数据分析师,也适合对Excel 比较熟练的数据分析师,或从事其他岗位想提高工作效率的职场人。
数据挖掘技术,又称为数据库知识发现,是20世纪90年代在信息技术领域开始迅速发展起来的计算机技术。作者结合自己近20年从事人工智能、机器学习、数据挖掘等方面的科研工作积累与教学经验,编著此书。 本书较全面系统地介绍了数据挖掘中常用和常见的数据挖掘方法,以及文本与视频数据挖掘方法。 本书的主要内容包括:数据挖掘基本知识、数据挖掘预处理方法、决策树分类及其他分类方法、关联知识挖掘方法、各种聚类分析方法,以及文本挖掘所涉及表示、分类和聚类等方法,还包括视频挖掘所涉及的视频镜头检测、字幕提取、视频摘要和视频检索等主要分析方法。 本书作为学习、掌握和应用数据挖掘方法和技术的综合指导书,是从事数据挖掘研究与应用人员,以及希望了解数据挖掘主要方法和技术的IT技术人员的良师益友;同时也是一本可用于大学
刘鹏主编的《大数据》是 大多数高校采用的知名教材《云计算》(1~3版)的姊妹篇,是中国大数据专家委员会刘鹏教授联合 多位专家历时两年的心血之作。大数据领域一直缺乏一本 教材,希望本书能够填补空白。本书系统地介绍了大数据的理论知识和实战应用,包括大数据采集与预处理、数据挖掘算法与工具、深度学习以及大数据可视化等,并深度剖析了大数据在互联网、商业和典型行业的应用。刘鹏教授创办的网站中国大数据(thebigdata.cn)、中国云计算(chinacloud.cn)和微信公众号刘鹏看未来(lpoutlook)将免费提供本书配套PPT和其他资料。本书配套的大数据实验体系已经在郑州大学等高校成功应用。 “让学习变得轻松”是本书的初衷。本书适合作为相关专业本科和研究生教材。高职高专学校也可以选用部分内容开展教学。本书也很适合作为大数据研发人
《海量点云数据处理理论与技术》共分8章。第1章绪论,简要介绍海量点云处理技术的基础理论、方法以及主要内容。第2章介绍海量点云数据的预处理,包括点云数据的获取方案,点云的去噪、压缩、配准方法,以及点云空洞的插值方法。第3章介绍海量点云数据的重建方法,系统介绍常用的点云重建算法与特点,并详细介绍基于特征和基于切片的点云重建方法。第4章介绍点云数据及模型的质量评价,从理论和实际两方面对点云质量进行分析,总结点云配准过程中的误差传播模型,系统地归纳三维模型的质量评定方法。第5章介绍点云数据处理技术,详细介绍国内外常用的海量点云数据处理软件以及三维图像库。第6章介绍地面三维激光扫描仪在隧道监测领域的应用,系统介绍基于三维激光扫描技术的隧道点云数据获取、处理及变形分析方法。第7章介绍地面三维