全书分为三大部分: 主要讨论有关增强数据密集型应用系统所需的若干基本原则。首先开篇第1章即瞄准目标:可靠性、可扩展性与可维护性,如何认识这些问题以及如何达成目标。第2章我们比较了多种不同的数据模型和查询语言,讨论各自的适用场景。接下来第3章主要针对存储引擎,即数据库是如何安排磁盘结构从而提高检索效率。第4章转向数据编码(序列化)方面,包括常见模式的演化历程。 我们将从单机的数据存储转向跨机器的分布式系统,这是扩展性的重要一步,但随之而来的是各种挑战。所以将依次讨论数据远程复制(第5章)、数据分区(第6章)以及事务(第7章)。接下来的第8章包括分布式系统的更多细节,以及分布式环境如何达成一致性与共识(第9章)。 主要针对产生派生数据的系统,所谓派生数据主要指在异构系统中,如果无法用一个数
数据是什么?如何应用数据?如何把数据变成更有价值的东西?本书主要适合刚开始使用数据的读者,能让他们对数据的含义、价值及用途有清晰的认识和了解,本书目的是介绍数据的相关知识,同时鼓励人们参与到日益增多的与数据有关的对话中。 本书通过介绍简单数据相关知识,即从一个总体目标、两种思维系统、三大应用领域、四种数据尺度、五种数据分析方法、六种数据展现方式、七种数据活动、八个提前问的问题分别展开阐释数据和分析的方法和思维方式。
本书的主要内容有:熟悉Spark的编程模型和生态系统。学习数据科学的一般方法。检查分析大型公共数据集执行步骤的完整性。发现哪些机器学习工具对特定问题有帮助。探索可适应多种用途的代码。
本书对可视化技术、交互技术以及数据分析方法进行了系统和全面的讲解。介绍了交互式可视化数据分析解决方案的设计标准,论述了设计中的影响因素以及工作流程的检验方法。读者可以从中了解可视化编码的基础知识,以及用于多元数据、时间数据、地理空间数据和图形数据等方面的众多可视化技术。 书中专门用一章的内容来介绍与可视化效果互动的常规概念,并且利用图示来说明现代交互技术如何推动可视化数据分析的发展。针对如今庞大而复杂的数据,本书涵盖了自动化分析计算支持可视化数据分析的相关内容,另外还介绍了多屏幕环境下的高级可视化概念、数据分析过程中的用户指南以及渐进式可视化数据分析等技术。 作者用简洁明了的术语以自上而下的视角解读了交互式可视化数据分析。众多真实案例和丰富的插图将使学生、本领域专家、数据密
K线图已经成为金融交易平台和图表程序的关键组成部分。使用这些图表,交易者们从中学习基础模式,用于解释价格走势历史,并预测未来市场。这本详细的指南向投资组合经理、量化分析师、策略师和分析师展示了如何使用Python来识别、扫描K线图模式,根据模式进行交易,并回测K线图模式的盈利能力。 金融作家、交易顾问和机构市场策略师Sofien Kaabar在本书中展示了如何创建K线图扫描器和指标,通过这些指标,我们可以比较不同模式的盈利能力。通过这本实践指南,你还将探索一种类似K线图的新型图表系统,以及从未介绍过的新模式。 通过这本书,你将学会: 创建并理解经典和现代K线图模式所需的条件。 学习这些模式背后的市场心理。 使用一个框架来学习如何进行交易策略的回测。 探索不同的图表系统并理解它们的局限性 在Python中导入不同时间框架的OHLC
编写本书的目的是使读者可以在最z短时间内掌握Excel 数据分析。本书以数据分析的整体流程和知识难易度来安排各章内容及其在全书中的次序,每一章内容都紧密围绕数据分析展开。全书共10 章,每天学习一章,10 天就能学会Excel 中的大多数数据分析工具的用法和技巧。 本书的主要内容包括数据分析的基本概念和流程、Excel 中的数据分析工具的功能和特点、导入外部数据和输入不同类型的数据、修复有问题的数据、设置数据格式、排序、筛选、分类汇总、数据透视表、公式和函数基础知识、提取和格式化文本、汇总和统计数据、计算日期、模拟分析、单变量求解、规划求解、分析工具库、图表的基本概念和基础操作、创建不同类型的图表、导入和刷新数据、使用Power Query 编辑器整理数据、使用Power Pivot 创建数据模型、创建计算列和度量值、销售分析和客户分析等
Apache Flink项目的资深贡献者Fabian Hueske和Vasiliki Kalavri展示了如何使用Flink DataStream API实现可伸缩的流式应用,以及怎样在业务环境中持续运行和维护这些应用。流处理的理想应用场景有很多,包括低延迟ETL、流式分析、实时仪表盘以及欺诈检测、异常检测和报警。你可以在任意类型的持续数据(包括用户交互、金融交易和物联网等数据)生成后,立即对它们进行处理。本书主要内容包括: 了解有关分布式状态化流处理的概念和挑战。 探索Flink的系统架构,包括事件时间处理模式和容错模型。 理解DataStream API的基础知识和构成要素,包括基于时间和有状态的算子。 以精确一次的一致性读写外部系统。 部署和配置Flink集群。 对持续运行的流式应用进行运维。
本书介绍了 Kubernetes 部署大规模容器的复杂流程。只有精通每个网络层的抽象工具,才能在生产集群中高效地排查故障并维护集群。本书涵盖如下内容:Kubernetes网络模型。如何从CNCF CNI项目中选择最Z适合集群的接口。Kubernetes 背后的网络基础和Linux基础。如何快速排除网络问题并防止停机。AWS、Google Cloud和Microsoft Azure的云网络和Kubernetes服务。各种网络工具的利弊以及如何为你的技术栈选择最Z合适的工具。
《SQL即查即用》从实用角度出发,由浅入深地讲解了SQL的基本概念、常用语法和操作技术。全书共24章,包括数据的简单查询、条件查询、模糊查询、过滤数据以及数据排序、分组、统计等内容,还包括子查询、多表连接、数据的增删改查、视图、存储过程、游标、事务处理以及数据库和数据表的管理等高级技术。包括200多个SQL语法,200多个应用示例。有很强的实用性和可操作性,既适合作为SQL初学者的学习用书,又适合作为程序开发人员和数据库管理人员随时查阅的参考工具书。为便于读者对SQL语法的理解,书中所有知识点和语法都结合具体示例进行讲解,并以对比图方式鲜明直观地展示数据变化,帮助读者快速掌握实际操作技巧,学以致用。书中还设置了注意、说明、常见错误、多学两招等贴心栏目,及时指出注意事项并给出相应的解决方案,帮助读者避开学
利用这本书,你将学习以下内容:了解如何选择Spark转换实现优化的解决方案。探索强大的转换和归约,包括reduceByKey()、combineByKey()和mapPartitions()。理解数据分区以实现优化查询。使用PySpark设计模式构建和应用模型。对图数据应用motif查找算法。使用GraphFrames API分析图数据。对临床医学和基因组数据应用PySpark算法。学习如何在ML算法中使用和应用特征工程。了解并使用实用的数据设计模式。
数据科学伦理是关于人们在进行数据科学方面的行为的道德规范。到目前为止,数据科学主要应用于企业和社会并产生了积极成果。 然而,就像任何技术一样,数据科学也带来了一些负面后果:隐私侵犯的增加,对敏感群体的数据驱动的歧视以及使用不可解释的复杂模型做出决策。 没有哪个数据科学家和业务经理是天生不道德的,只是他们没有接受过培训来考虑他们在工作中的伦理问题 本书旨在填补这个越来越重要的空白和解释不同的概念和技术,帮助读者理解从k-匿名和差别隐私到同态加密和零知识证明等技术已可以解决隐私侵犯问题,消除敏感群体歧视和提供各种可解释的人工智能。 现实生活中的警世故事进一步说明了数据科学伦理的重要性和潜在影响,包括种族主义机器人的故事、搜索审查和人脸识别等。本书中穿插着结构化的练习,提供假设的场景和
了解数据结构与算法是透彻理解计算机科学的前提。随着Python日益广泛的应用,Python程序员需要实现与传统的面向对象编程语言相似的数据结构与算法。本书是用Python描述数据结构与算法的开山之作,汇聚了作者多年的实战经验,向读者透彻讲解在Python环境下,如何通过一系列存储机制有效地实现各类算法。通过本书,读者将深刻理解Python数据结构、递归、搜索、排序、树与图的应用,等等。这一版重写了书中的示例代码,并对诸多内容做了修正。
继煤炭、钢铁和石油之后,数据正在成为重要的国家战略资源和国家间竞争的战略工具。数据主权是国家主权在网络空间的逻辑延伸和核心表现,关乎数据安全、个人隐私和数字经济发展,是国家安全和发展的核心利益所在。 《数据主权与治理模式辨析》围绕数据主权及治理模式进行剖析,调研全球主要经济体的数据主权治理模式演化过程,在厘清数据主权内涵和概念、借鉴国外数据主权治理模式的基础上,以主权平等、合作共治为原则,从跨境数据流动、数据本地化存储、数字贸易、 长臂管辖 及其反制策略等方面,分析比较各国数据主权治理的模式及其实施效果,构建匹配中国数字经济和数据资源体量、符合中国数据规制要求,兼顾各国利益的数据主权治理规则,推动全球数字经济全面健康发展,是中国数据治理的重要使命和时代担当。