本书从初学者易于理解的角度,以通俗易懂的语言、丰富的实例、简洁的图表、传统和现代数据特征的对比,将大数据这一计算机前沿科学如数家珍地娓娓道来。既介绍了大数据和相关的基础知识,又与具体应用有机结合起来,并借助可视化图表的画面感立体地为读者剖析了大数据的技术和原理,非常便于自学。本书内容包括大数据概论、大数据采集及预处理、大数据分析、大数据可视化、Hadoop概论、HDFS和Common概论、MapReduce概论、NoSQL技术介绍、Spark概论、云计算与大数据、大数据相关案例等内容。本书既可以作为想了解大数据技术和应用的初学者的教材,也适合作为培训中心、IT人员、企业策划和管理人员的参考书。
本书是中山大学重点学科建设成果,获中国矿物岩石地球化学协会大数据与数学地球科学专业委员会推荐,是我国*部地质科学大数据与机器学习教材。本书是中山大学研究生试用研究型教材,对运用大数据挖掘与机器学习算法解决地球科学问题大有裨益。适合地质科学领域研究生和高年级本科生做教材,也可供科研人员研究时参考。它系统地介绍了地球科学大数据挖掘与机器学习的基本框架与原理,重点分析高维数据的降维、分类与预测、大图形社区结构识别、无限流数据处理、机器学习及人工智能地质学的建模过程,对必要的应用场景,使用Python语言给出案例。
技术是把双刃剑,当我们在积极拥抱新技术的同时,也不能忽视其所带来的风险,比如当今大数据时代个人隐私和安全问题。本书是两位作者结合各自出色的专业知识和丰富的从业经验为大众倾力奉献的一本大数据时代隐私问题的普及读物。书中展示了我们在家庭和工作中的日常活动是如何成为大数据收集的一部分的。同时,列举大量的大数据应用以及安全和隐私相关案例,包括企业如何利用大数据进行营销、执法机构如何利用大数据执法等,也包括不法分子如何利用非法或合法的手段获取数据,如何利用社交网络进行犯罪。针对上述问题,本书也列出了一些工具、技巧用来检查和防范,这在当前很有现实意义。
为顺应国内EPC 总承包工程推广的新形势, 提高企业风险管理水平, 普及工程保险知识, 特编写本书。 书中内容紧密结合国际先进工程保险理念, 对于在EPC 工程中涉及的工程险种、 安排、 采购、 合同后管理等问题均做了较为全面、 细致的分析。 同时, 列举了我国著名企业在海内外EPC 实践中实施保险策略的典型案例。本书可供从事EPC 项目或准备从事EPC 项目的公司领导、 项目经理、 风险管理人员、 监理、 咨询人员等作为岗位继续教育教材使用; 也可作为工程管理、 保险、 经贸专业在校研究生以及本科生的教学参考书或课外读物;也适合作为建设行业推行EPC 总承包模式进行系列培训的教材或参考用书。
在新媒体时代,如果对新闻报道、网上搜索的结果或者所谓的 专家告知 不加思考地完全相信,那你就等着上当受骗吧! 本书围绕当今*受瞩目的大数据科学理论,通过日本政府公布的公开数据,集中针对访日游客的增加、舆论调查的可靠性、 安倍经济学 的成果、东日本大地震后的状况、相对贫困、失业率的下降、年轻人远离ХХ、全球变暖问题、减肥、恩格尔系数的上升等10个主题进行数据解读,帮助读者模拟体验数据读取方法,提高理解和分析数据的能力,挖掘出数据背后隐藏的真相。 作为 大数据分析 的超级入门书,即使不擅长数学、不了解统计学的人,读完本书也可以彻底掌握数据解读方法!
本书以大数据为研究背景,系统分析了传统数据技术当前存在的问题以及面临的挑战,并对比了当前主流的面向大数据的数据库解决方案,在此基础上阐述了笔者的研究工作:基于MapReduce平台高处处理大数据的OLAP研究。书中反应了当前大规模数据仓库研究的热点和成果,值得大数据研究的人员参考和应用。
本书基于作者近几年来的研究开发成果及应用实践,对物联网大数据技术体系进行了系统归纳,阐述了物联网环境下感知数据的特性、数据模型、事务模型以及调度处理方法等核心概念及关键技术,并对物联网大数据存储、管理、计算与分析的基本概念和关键技术进行了剖析。本书还介绍了自行研发的面向物联网的ChinDB实时感知数据库系统以及针对云计算环境下物联网大数据管理与应用的DeCloud云平台,介绍了它们在智能交通、智能电厂、教育、安全监控等多个行业的应用。书中所有实例,均来自作者所在团队的实际应用,大部分在物联网项目中得到了实践应用。本书对物联网应用的开发以及两化融合、工业4.0环境下的大数据处理分析具有重要参考价值。
本书内容简介:数据挖掘和文本挖掘是当前信息技术中的一个重要研究领域;将遗传算法和社会演化算法应用于数据及文本挖掘方法研究,具有较大的理论意义和实用价值本书研究了基于遗传算法和社会演化算法的数据挖掘和文本挖掘方法,主要包括数据挖掘和文本挖掘中的属性约简问题、聚类问题,并将其应用于产品研发决策中所做主要工作包括:提出一种基于遗传算法和k-medoids算法的新的聚类方法;采用遗传算法和模式聚合进行文本特征降维;采用遗传算法和潜在语义索引进行文本特征降维;采用社会演化算法进行聚类;采用混沌社会演化算法进行聚类;采用改进的遗传算法和社会演化算法进行文本聚类研究;将文本挖掘应用到产品研发决策中,构建产品研发文本知识地图,以期提高产品研发的效率和质量。
数据挖掘技术,又称为数据库知识发现,是20世纪90年代在信息技术领域开始迅速发展起来的计算机技术。作者结合自己近20年从事人工智能、机器学习、数据挖掘等方面的科研工作积累与教学经验,编著此书。 本书较全面系统地介绍了数据挖掘中常用和常见的数据挖掘方法,以及文本与视频数据挖掘方法。 本书的主要内容包括:数据挖掘基本知识、数据挖掘预处理方法、决策树分类及其他分类方法、关联知识挖掘方法、各种聚类分析方法,以及文本挖掘所涉及表示、分类和聚类等方法,还包括视频挖掘所涉及的视频镜头检测、字幕提取、视频摘要和视频检索等主要分析方法。 本书作为学习、掌握和应用数据挖掘方法和技术的综合指导书,是从事数据挖掘研究与应用人员,以及希望了解数据挖掘主要方法和技术的IT技术人员的良师益友;同时也是一本可用于大学
数据挖掘是近年来计算机科学中活跃的研究分支之一。本书分三部分介绍数据挖掘中的三个热点:空间数据挖掘、半监督学习与流形学习,并分别介绍了这三个研究热点的研究背景、研究现状、存在问题、*算法与应用等。本书在论述这三个研究热点的研究现状并分析了存在的问题后,面向实际需要,提出*的模型、算法与技术。这些模型与算法以作者研究成果为基础,具有一定的创新性与实际应用价值。这些成果可帮助广大研究工作者与工程技术人员拓展思路,并为数据挖掘的理论应用提供借鉴。 本书可供数据挖掘、机器学习及相关专业的研究人员、教师、研究生和工程人员参考。
本书从理论知识入手,结合数据仓库的概念帮助读者更好地理解Hive,在掌握Hive相关理论知识的基础上,逐步深入地学习Hive。 工欲善其事,必先利其器 ,首先从创建虚拟机并安装Linux操作系统开始逐步完成Hive的部署,然后在部署完成的Hive环境基础上,学习Hive数据定义语言、Hive数据操作语言和Hive数据查询语言的相关操作,在学习了上述三种语言之后,接下来深入学习Hive的其他功能,包括Hive内置函数、Hive自定义函数、Hive的新特性事务以及Hive的相关优化,从而帮助读者掌握Hive的强大功能和特性。后,本书通过一个综合项目 教育大数据分析平台,使读者对Hive数据仓库在实际应用中涉及的相关知识内容具有更深入的理解,在此项目中不仅会涉及使用Hive实现数据仓库分层、数据转换和数据分析的相关操作,而且还涉及使用Sqoop将数据仓库中的数据进行导出和导入,以
《汇计划在行动》全面介绍了《上海市推进大数据研究与发展三年行动计划( 2013-2015 年)》的编制和实施过程。系统介绍了对大数据概念、内涵、技术和应用方面的认识,介绍了在上海信息化建设的基础和现状之上,如何让大数据在上海落地,并着力解决大数据应用过程中的关键问题,开展数据科学前瞻研究和人才培养;对三年行动计划进行了全面解读。《汇计划在行动》还介绍了“上海大数据产业技术创新战略联盟”发起、组建、运行方面的情况;介绍了“上海市数据科学重点实验室”的研究方向、管理模式和开放模式。 《汇计划在行动》可供大数据及相关产业的从业人员,以及政府相关部门的决策、管理人员参考。
国际数据挖掘领域知名专家李涛及其带领团队近年研究成果的总结,以实际的数据挖掘工作为基石,架设起研究和应用的桥梁,帮助读者们从应用实例中学习数据外挖掘。本书不按理论和技术来划分章节,而是以实际的应用案例来贯穿始终,通过数据挖掘应用的实例来介绍如何应用和学习数据挖掘技术。
《MySQL是怎样使用的:快速入门MySQL》采用通俗易懂的表达方式,对如何使用MySQL进行了详细的介绍。 《MySQL是怎样使用的:快速入门MySQL》完全从零基础用户的角度出发,依照用户认知习惯,从MySQL的安装开始,介绍了MySQL的服务器程序和客户端程序的使用、MySQL的数据类型、数据库和表的基本操作、列的属性、MySQL中的表达式和函数、简单和复杂的增删改查语句等入门知识,还介绍了视图、存储程序、备份与恢复、用户与权限管理等高级概念以及使用Java语言连接MySQL服务器等知识。 《MySQL是怎样使用的:快速入门MySQL》较好地契合了MySQL初学人员的学习曲线,内容深入浅出,通俗易懂,可帮助初学人员迅速入门MySQL。
本书以精练的语言介绍HBase的基础知识,让初学者能够快速上手使用HBase,对HBase的核心思想(如数据读取、数据备份等)和HBase架构(如LSM树、WAL)有深入的分析,让有经验的HBase开发人员也能够循序渐进地深入理解HBase源码,以便更好地去调试和解决线上遇到的各种问题。本书更加专注HBase在线实时系统的调优,让HBase集群响应延迟更低,能够更好地为在线实时系统服务。本书结合企业的“用户行为分析系统”,让读者能够快速上手的同时,也不乏企业HBase实际应用场景,理论不脱离实际,真正做到从入门到精通。 本书适合有一定Java基础的程序员作为HBase入门教程,HBase运维人员可以将本书作为参考手册来部署和监控HBase,正在将HBase应用到在线生成环境中的软件开发人员也可以参考本书来调优HBase在线集群性能。
本书覆盖了数据仓储构建的所有主要领域,包括数据仓储的定义和环境;数据仓储的4个类型、对数据仓储的5类共15个要求;2个方法论的总结及3个构建方法。本书给出了一个高性能的参照系统结构。基于此参照系统结构,本书系统地讨论了大量设计议题、并包括21个设计建议、8个实践建议、7个设计原则、27个通用算法和技术、12个元数据驱动的通用操作符、7个工作过程、4个范式基础及范式原则。
笔者认为数据挖掘的出现,正是统计学适应这一变化的新的发展方向,数据挖掘并不是为了替代传统的统计分析技术,而是统计分析方法的延伸和扩展。本书从统计学视角研究数据挖掘,以期从统计学角度对数据挖掘理论的研究有所突破和创新,同时对统计学理论在数据挖掘方向的发展做出探索。
《大数据测评》一书介绍了大数据的概念和特征,各国大数据发展的战略、发展趋势及其标准化情况,以及对于软件测试带来的挑战。 在此基础上,《大数据测评》在面向大数据处理框架、大数据基础算法、应用系统、系统安全和隐私泄露的测评技术 等方面展开了分析和讨论。以Hadoop为主线开展大数据测试的探讨。在底层支撑框架层聚焦于单元测试和框架基准测试;在基本算法中涵盖了聚类、分类及其个性化推荐;在应用层,介绍了其性能测试中若干问题,重点阐述数据集的设计与分析。 后,《大数据测评》讨论了大数据的安全和隐私问题,突出介绍由于大数据所引发的新安全问题及其对策。 本书的读者对象是从事大数据或者软件测评的学者、软件工程研究人员、高校研究生、大数据产业人员。
随着信息技术特别是网络技术的飞速发展,人们收集、存贮、传输数据的能力不断提高。数据出现了爆炸性增长,与此形成鲜明对比的是:对决策有价值的知识却非常匮乏。知识发现与数据挖掘技术正是在这一背景下诞生的一门新学科。数据挖掘要在实际应用中发挥作用,高性能挖掘算法和数据挖掘软件平台是重要的技术基础。本书以数据挖掘基本问题、频繁模式与关联规则挖掘为切入点,研究高时间效率、高空间可伸缩性的挖掘算法和分布,异质、海量数据的协同挖掘软件模型,并探讨了数据挖掘过程中的隐私保护问题。 本书首先发现了基于树表示形式的虚拟投影方法,用于按深度优先挖掘密集型数据集;提出了稀疏型数据集表示形式及非过滤投影方法;进_步提出了基于伺机投影的思想,设计并实现了基于伺机投影的全新算法OpportuneProject,对比实验表明,该
《海量点云数据处理理论与技术》共分8章。第1章绪论,简要介绍海量点云处理技术的基础理论、方法以及主要内容。第2章介绍海量点云数据的预处理,包括点云数据的获取方案,点云的去噪、压缩、配准方法,以及点云空洞的插值方法。第3章介绍海量点云数据的重建方法,系统介绍常用的点云重建算法与特点,并详细介绍基于特征和基于切片的点云重建方法。第4章介绍点云数据及模型的质量评价,从理论和实际两方面对点云质量进行分析,总结点云配准过程中的误差传播模型,系统地归纳三维模型的质量评定方法。第5章介绍点云数据处理技术,详细介绍国内外常用的海量点云数据处理软件以及三维图像库。第6章介绍地面三维激光扫描仪在隧道监测领域的应用,系统介绍基于三维激光扫描技术的隧道点云数据获取、处理及变形分析方法。第7章介绍地面三维
本书首先介绍了大数据时代的特征,可以帮助你对大数据及其价值有一个概括性的了解和认识。其次,你将知道如何培养、挖掘、处理数据,使数据为自己创造更大价值。后,介绍了大数据在企业决策、运营管理、金融投资等方面的实际应用。内容简单实用,特别适合初级读者阅读。 大数据会作为一种资产存在,并将诞生一个万亿级别的交易市场。 大数据正以一种革命风暴的姿态引发全球关注。*马云指出, 互联网 已从 IT 时代到 DT (数字科技)时代,而 DT 是一个数据更充分流动的时代。而且未来大数据会作为一种资产存在,并将诞生一个万亿级别的交易市场。