全书分为三大部分: 主要讨论有关增强数据密集型应用系统所需的若干基本原则。首先开篇第1章即瞄准目标:可靠性、可扩展性与可维护性,如何认识这些问题以及如何达成目标。第2章我们比较了多种不同的数据模型和查询语言,讨论各自的适用场景。接下来第3章主要针对存储引擎,即数据库是如何安排磁盘结构从而提高检索效率。第4章转向数据编码(序列化)方面,包括常见模式的演化历程。 我们将从单机的数据存储转向跨机器的分布式系统,这是扩展性的重要一步,但随之而来的是各种挑战。所以将依次讨论数据远程复制(第5章)、数据分区(第6章)以及事务(第7章)。接下来的第8章包括分布式系统的更多细节,以及分布式环境如何达成一致性与共识(第9章)。 主要针对产生派生数据的系统,所谓派生数据主要指在异构系统中,如果无法用一个数
随着TheDataWarehouseToolkit(1996)第1版的出版发行,RalphKimball为整个行业引入了维度建模技术。从此,维度建模成为一种被广泛接受的表达数据仓库和商业智能(DW/BI)系统中数据的方法。该经典书籍被认为是维度建模技术、模式和实践的资源。 该书汇集了到目前为止全面的维度建模技术。 该书采用新的思路和实践对上一版本进行了全面修订,给出了设计维度模型的全面指南,既适合数据仓库新手,也适合经验丰富的专业人员。 该书涉及的所有技术都基于作者实际从事DW/BI的设计经验,通过实际案例加以描述。 该书主要内容: 实用设计技术 有关维度和事实表的基本和高级技术。 14个案例研究,涉及零售业、电子商务、客户关系管理、采购、库存、订单管理、会计、人力资源、金融服务、医疗卫生、保险、教育、电信和运输等。
本书结合理论和实践,由浅入深,全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章,第Ⅰ部分介绍Hadoop基础知识,主题涉及Hadoop、MapReduce、Hadoop分布式文件系统、YARN、Hadoop的I/O操作。第Ⅱ部分介绍MapReduce,主题包括MapReduce应用开发;MapReduce的工作机制、MapReduce的类型与格式、MapReduce的特性。第Ⅲ部分介绍Hadoop的运维,主题涉及构建Hadoop集群、管理Hadoop。第Ⅳ部分介绍Hadoop相关开源项目,主题涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三个案例,分别来自医疗卫生信息技术服务商塞纳(Cerner)、微软的人工智能项目ADAM(一种大规模分布式深度学习框架)和开源项目Cascading(一个新的针对MapReduce的数据处理API)。 本书是一本权威、全面的Hadoop参考书和工具书,阐述了Hadoop生态圈的*发展和应用,程序员可以从中探
作为一本 Power Query 初级入门读本,《Power Query 智能化数据汇总与分析》不深入介绍 M 函数,而是结合大量的实际案例,利用 Power Query 可视化的操作向导,来解决实际工作中烦琐的数据整理、汇总和分析问题,让读者在短时间内,能够对 Power Query 有一个较为全面的了解和掌握,并能迅速提升数据处理和统计分析效率。 《Power Query 智能化数据汇总与分析》适合具有 Excel 基础知识并经常处理大量数据的各类人员阅读,也可作为大专院校经济类本科生、研究生和 MBA 学员的教材或参考书。
在新媒体时代,如果对新闻报道、网上搜索的结果或者所谓的 专家告知 不加思考地完全相信,那你就等着上当受骗吧! 本书围绕当今*受瞩目的大数据科学理论,通过日本政府公布的公开数据,集中针对访日游客的增加、舆论调查的可靠性、 安倍经济学 的成果、东日本大地震后的状况、相对贫困、失业率的下降、年轻人远离ХХ、全球变暖问题、减肥、恩格尔系数的上升等10个主题进行数据解读,帮助读者模拟体验数据读取方法,提高理解和分析数据的能力,挖掘出数据背后隐藏的真相。 作为 大数据分析 的超级入门书,即使不擅长数学、不了解统计学的人,读完本书也可以彻底掌握数据解读方法!
大数据时代,对数据进行统计、分析和学习变得尤为重要,并被应用在各方各面,如无人驾驶汽车、AlphaGo、机器学习和人工智能等,而统计思维也成为大数据时代的基本思维。不仅这些高科技以统计学为基础理论,大数据时代的每个人都应该懂点统计学,学会读懂并分析数据,学会让数据说话,让数据为自己服务。《大数据时代的统计学思维:让你从众多数据中找到真相》就是大数据时代统计学思维的科普书籍,全书共10章,第1章用几个有趣好玩的例子引导读者进入统计学的世界,并调动读者学习统计学的兴趣。第2~10章结合生活和工作中的例子全面介绍统计学原理和方法,涵盖统计学中的数据收集、数据处理和统计推断等内容,既有抽样调查、概率、相关性分析、回归分析等实用统计方法,也有大数定律和中心极限定理等基本统计学原理。用实例引导理论,通俗
《Excel VBA SQL数据管理与应用模板开发》结合大量实际案例,介绍了如何利用Excel VBA和数据库查询技术ADO SQL快速进行数据查询、汇总,并开发个性化模板。本书共分8章,提供了大量的VBA实际案例和实用代码。在实际工作中,可以直接照搬套用这些代码,或者结合自己的实际情况稍微修改加工即可使用。 另外,《Excel VBA SQL数据管理与应用模板开发》重点介绍了一个比较完整的合同系统模板,包括供货商信息管理、合同信息管理、发票管理、付款管理、统计分析等。《Excel VBA SQL数据管理与应用模板开发》可供企事业单位数据管理和数据分析人员参考,也可供大专院校相关专业的学生参考。
本书介绍了很多基本设计模式、优化技术和数据挖掘及机器学习解决方案,以解决生物信息学、基因组学、统计和社交网络分析等领域的很多问题。这本书还概要介绍了MapReduce、Hadoop和Spark。 本书主要内容包括: ■ 完成超大量交易的购物篮分析。 ■ 数据挖掘算法(K-均值、KNN和朴素贝叶斯)。 ■ 使用超大基因组数据完成 DNA 和 RNA 测序。 ■ 朴素贝叶斯定理和马尔可夫链实现数据和市场预测。 ■ 推荐算法和成对文档相似性。 ■ 线性回归、Cox回归和 皮尔逊 (Pearson) 相关 分析。 ■ 等位基因频率和 DNA 挖掘。 ■ 社交网络分析(推荐系统、三角形计数和情感分析)。
这是一本跟数据科学和数据科学家有关的“手册”,它还包含传统统计学、编程或计算机科学教科书中所没有的信息。 本书有3个组成部分:一是多层次地讨论数据科学是什么,以及数据科学涉及哪些其他学科;二是数据科学的技术应用层面,包括教程和案例研究;三是给正在从业和有抱负的数据科学家介绍一些职业资源。本书中有很多职业和培训相关资源(如数据集、网络爬虫源代码、数据视频和如何编写API),所以借助本书,你现在就可以开始数据科学实践,并快速地提升你的职业水平。
本书是深入研究互联网思维的经典之作,从互联网思维的定义到互联网思维应用的具体案例表现。作者深入浅出、条分缕析,全面阐述互联网思维的内核与精神,逐一点评当前关于互联网思维的各种观点。本书从初级的互联网思维应用到高端的粉丝经济,平台建设,自媒体营销的方法都有详细讲解介绍。让读者了解什么是互联网思维的同时还能学会把互联网思维运用到自己的工作学习已经生活中 进入大数据时代,让数据开口说话将成为司空见惯的事情,本书将从大数据时代的前因后果讲起,全面分析大数据时代的特征、企业实践的案例、大数据的发展方向、未来的机遇和挑战等内容,展现一个客观立体、自由开放的大数据时代。
本书完整全面地讲述数据挖掘的概念、方法、技术和近期新研究进展。本书对前两版做了全面修订,加强和重新组织了全书的技术内容,重点论述了数据预处理、频繁模式挖掘、分类和聚类等的内容,还全面讲述了OLAP和离群点检测,并研讨了挖掘网络、复杂数据类型以及重要应用领域。 本书是数据挖掘和知识发现领域内的所有教师、研究人员、开发人员和用户都的参考书,是一本适用于数据分析、数据挖掘和知识发现课程的优秀教材,可以用做高年级本科生或者一年级研究生的数据挖掘导论教材。
集Python、Excel、数据分析为一体是本书的一大特色。本书围绕整个数据分析的常规流程:工具熟悉-获取数据-数据熟悉-数据处理-数据分析-分析结果进行Excel 和Python 对比实现,告诉你每一个过程中都会用到什么?过程与过程之间有什么联系。这样一本书既可以作为系统学习数据分析流程操作的说明书,也可以作为一本数据分析师案头推荐的实操工具书,随时备查。本书通过对比Excel 功能操作去学习Python 的实现代码,而不是直接上来就学习Python代码,大大降低了学习门槛,消除了读者对代码的恐惧心理。适合刚入行的数据分析师,也适合对Excel 比较熟练的数据分析师,或从事其他岗位想提高工作效率的职场人。
本书分为部分,分别为大数据基础理论分析、基于海量语意规则的大数据流处理技术及大数据应用。 部分介绍大数据领域的主要基础理论,包括大数据基本概念、可编程数据中心、云文件系统、云数据库系统、大数据并行编程与分析模型、大数据智能计算算法、基于大数据的数据仓库技术、大数据安全与隐私保护,以及基于大数据的语意软件工程方法等。 第二部分介绍基于海量语意规则的大数据流处理技术,包括基于规则的大数据流处理介绍、语意规则描述模型、海量语意规则网及优化、海量语意规则处理算法及海量语意规则并行处理等。 第三部分主要介绍大数据的一些典型应用,包括:文化大数据、医疗健康大数据、互联网金融大数据、教育大数据、电子商务大数据、互联网大数据、能源大数据、交通大数据、宏观经济大数据、进出口食品安全监管大数据、基
本书是普通高等教育“十一五”规划教材。《数据结构(第3版)》主要内容包括绪论、线性表和数组、栈和队列、树、图、排序、查找、数据结构程序设计等,最后,以Java语言为例,介绍了面向对象程序设计的数据结构。书中各章后附有自测练习题。《数据结构(第3版)》适用于高等职业学校、高等专科学校、成人高等学校、本科院校举办的二级职业技术学院,也可供示范性软件职业技术学院、继续教育学院、民办高等学校、技能型紧缺人才培养使用,还可供本科院校、计算机专业人员和爱好者参考。
《Python数据分析从入门到精通》全面介绍了使用Python进行数据分析所必需的各项知识。全书共分为14章,包括了解数据分析、搭建Python数据分析环境、Pandas统计分析、Matplotlib可视化数据分析图表、Seaborn可视化数据分析图表、第三方可视化数据分析图表Pyecharts、图解数组计算模块NumPy、数据统计分析案例、机器学习库Scikit-Learn、注册用户分析(MySQL版)、电商销售数据分析与预测、二手房房价分析与预测,以及客户价值分析。
本书覆盖了数据仓储构建的所有主要领域,包括数据仓储的定义和环境;数据仓储的4个类型、对数据仓储的5类共15个要求;2个方法论的总结及3个构建方法。本书给出了一个高性能的参照系统结构。基于此参照系统结构,本书系统地讨论了大量设计议题、并包括21个设计建议、8个实践建议、7个设计原则、27个通用算法和技术、12个元数据驱动的通用操作符、7个工作过程、4个范式基础及范式原则。
这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业,华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例,不仅能让读者即学即用,还能让读者了解华为数字化建设的历程。 全书共10章,内容从逻辑上分为四个部分。 部分(~3章) 章以非数字原生企业在数字化转型方面面临的挑战开篇,介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架;第2章从企业政策和架构协同的角度,介绍了企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协同关系,明确了数据管理的责任主体在业务;第3章详细阐述了不同类型的数据的管理方式和要点。 第二
为顺应国内EPC 总承包工程推广的新形势, 提高企业风险管理水平, 普及工程保险知识, 特编写本书。 书中内容紧密结合国际先进工程保险理念, 对于在EPC 工程中涉及的工程险种、 安排、 采购、 合同后管理等问题均做了较为全面、 细致的分析。 同时, 列举了我国著名企业在海内外EPC 实践中实施保险策略的典型案例。本书可供从事EPC 项目或准备从事EPC 项目的公司领导、 项目经理、 风险管理人员、 监理、 咨询人员等作为岗位继续教育教材使用; 也可作为工程管理、 保险、 经贸专业在校研究生以及本科生的教学参考书或课外读物;也适合作为建设行业推行EPC 总承包模式进行系列培训的教材或参考用书。
2019年是我国5G商用元年,正式开启5G时代。在2G落后、3G跟随、4G并跑之后,5G时代我国有望领先全球。5G具有大带宽、低时延、广连接的特点。本书从信息通信技术发展历程开始,分析了1G-4G的特点,以及5G应用创新的必要性和技术创新点,并对未来5G发展提出了趋势判断。同时分领域对5G应用场景进行研究,语言通俗易懂,用浅显易懂的方式论述深奥的5G通信原理,适合通信设备制造商、手机制造商、网络运营商、科研人员、高校教师、大学生、研究生等人员阅读与参考。
本书主要作为教育领域从事教育大数据研究工作者的参考用书。本书从教育大数据的重要意义、国内外教育大数据的研究现状以及政策支持出发,对教育大数据的相关概念和内涵做阐述说明,介绍了教育大数据的技术、技术标准、治理与开放、风险管理与法律政策,重点阐述了教育大数据在教育领域的典型应用,包括教育大数据在课堂教育、校园管理、在线教育、开放远程教育、教育培训行业以及学生综合素质评价等方面的应用,*后提出教育大数据的发展趋势和机遇挑战。
《城市发展的数据逻辑》通过对城市空间数据和非空间数据(如地形数据、建筑物数据、城市环境数据等)反映城市发展现状和历史的数据进行分析、挖掘,论述城市发展的规律和内在逻辑,为城市发展提供了重要的分析工具和科学依据。 《城市发展的数据逻辑》系统、全面地介绍了与城市发展有关的各种空间数据。在此基础上介绍了国内外对城市生产的研究现状,总结了目前国内外城市大数据研究的形成和发展、城市生长模型及其新方法,并借助一些典型案例,介绍应用城市生长技术的流程与方法。《城市发展的数据逻辑》还介绍了GIS、RS、GPS等新技术在城市发展及城市规划中的应用,以及如何使用新的信息技术方法揭示城市发展过程中诸如道路交通、城市建筑、公共设施等城市因子与城市发展的内生联系。 《城市发展的数据逻辑》的读者对象是城市发展领域
《大数据测评》一书介绍了大数据的概念和特征,各国大数据发展的战略、发展趋势及其标准化情况,以及对于软件测试带来的挑战。 在此基础上,《大数据测评》在面向大数据处理框架、大数据基础算法、应用系统、系统安全和隐私泄露的测评技术 等方面展开了分析和讨论。以Hadoop为主线开展大数据测试的探讨。在底层支撑框架层聚焦于单元测试和框架基准测试;在基本算法中涵盖了聚类、分类及其个性化推荐;在应用层,介绍了其性能测试中若干问题,重点阐述数据集的设计与分析。 后,《大数据测评》讨论了大数据的安全和隐私问题,突出介绍由于大数据所引发的新安全问题及其对策。 本书的读者对象是从事大数据或者软件测评的学者、软件工程研究人员、高校研究生、大数据产业人员。