《华为数据之道》 这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业,华为的数据底座和数据治理方法支撑着华为在全球170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例,不仅能让读者即学即用,还能让读者了解华为数字化建设的历程。 ============= 《华为数字化转型之道》 本书由华为公司质量与流程IT团队官方出品,从认知、理念、转型框架、规划和落地方法、业务重构、平台构建等多个维度全面总结和阐述了华为自身的数字化转型历程、方法和实践,能为准备开展或正在开展数字化转型的企业提供系统、全面的参考。
本书介绍了超级计算机算力和AI算力的异同,从CPU流水线开始,描述主要的众核处理器架构和功能部件设计。在GPU和NPU等加速器部分,介绍了GPU为何能从单纯的图形任务处理器变成通用处理器。GPU在设计逻辑、存储体系、线程管理,以及面向AI的张量处理器方面成为最近几年全世界科技行业最瞩目的明星。本书对华为等厂商推出的NPU芯片设计也做了架构描述,中国也拥有独立自主知识产权的高算力芯片,并且支持多芯片、高带宽互连。本书也回顾了近20年来主流的CPU、GPU芯片架构的特点,介绍了存储与互连总线技术,即大模型专用AI超级计算机的中枢核心。
本书主要介绍从高维数据中感知、处理、分析和学习低维结构的基本数学原理和高效计算方法,系统地归纳了建模高维空间中低维结构的数学原理,梳理了处理高维数据模型的可扩展高效计算方法,阐明了如何结合领域具体知识或考虑其他非理想因素来正确建模并成功解决真实世界中的应用问题。本书包括基本原理、计算方法和真实应用三个部分:基本原理部分系统地介绍稀疏、低秩和一般低维模型的基本性质和理论结果,计算方法部分介绍解决凸优化和非凸优化问题的有效算法,真实应用部分通过实例演示利用前两部分的知识改进高维数据处理和分析问题的解决方案。本书适合作为计算机科学、数据科学和电气工程专业的高年级本科生和研究生的教材,也适合学习稀疏性、低维结构和高维数据课程的学生参考。
本书旨在为包括研究生和工业从业者在内的研究人员提供有关为数据驱动的进化优化而开发的最新方法的全面描述。本书共分12章,第1~4章简要介绍了优化、进化计算和机器学习中精心挑选的重要主题和方法。第5章提供了数据驱动优化的基础知识,包括启发式算法和基于获取函数的代理模型管理。第6章介绍使用多个代理模型进行单目标优化的方法。第7~8章中描述用于求解多目标和多目标优化算法的代表性进化算法以及代理模型辅助数据驱动的进化多目标和多目标优化。第9章详细阐述了高维数据驱动优化的方法。第10章描述迁移学习和迁移优化。第11章讨论离线数据驱动的进化优化,以翼型设计优化等实际优化问题为例、原油蒸馏优化和急救系统优化。最后,第12章强调了深度神经架构搜索作为数据驱动的昂贵优化问题。
内容简介商业分析有用吗?当然有用!商业分析是行走职场、创业启航的一项技能。 作者结合自己多年的工作经验,用生动的语言介绍如何用数据分析解决商业问题。 本书分为6 篇,共17 章,其中第1 篇是概念篇,讲述商业分析的基本概念;第2 篇是基础篇,讲述如何用基础的分析方法评估企业经营状况;第3 篇是进阶篇,讲述如何构建分析体系解决较复杂的问题;第4 篇是高阶篇,讲述如何应对复杂的商业难题;第5 篇是基础实践篇,通过案例讲述如何解决更复杂的商业问题;第6 篇是高阶实践篇,通过案例讲述如何解决商业分析中的疑难杂症。 本书的讲解思路是层层递进的,从简单场景到复杂场景,从基础的方法到复杂的方法。因此,无论读者是否有数据分析基础和经验,都建议从头开始阅读,这样可以一步步提升认知,更快地掌握商业分析的方法。
《深入浅出数据分析》以类似 章回小说 的活泼形式,生动地向读者展现优秀的数据分析人员应知应会的技术:数据分析基本步骤、实验方法、化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、关系数据库、数据整理技巧;正文之后,意犹未尽地以三篇附录介绍数据分析十大要诀、R工具及ToolPak工具,在充分展现目标知识以外,为读者搭建了走向深入研究的桥梁。 本书通过精心设计的实践场景,让读者不由自主地代入角色当中,真正在体验中学习、思考,将数据分析的要点融化于心,自如地应用在工作和生活中。
《数据库系统概念》是数据库系统方面的经典教材之一,其内容由浅入深,既包含数据库系统基本概念,又反映数据库技术新进展。它被国际上许多大学所采用,包括斯坦福大学、耶鲁大学、得克萨斯大学、康奈尔大学、伊利诺伊大学等。
本书是一本全面关注企业数据标准化方面的工具书,主要分为5 篇。 第1 篇介绍了数据标准化是数据治理的基础,包括数据标准化与数据治理的关系,以及数据标准化主要内容、本书阅读导引。 第2 篇介绍了数据标准化框架体系,包括架构类数据标准、对象类数据标准、基础类数据标准。 第3 篇介绍了数据标准化实施流程与方法,包括建立数据标准化保障机制、现状分析及评估、技术平台和工具、数据标准化关键域实施。 第4 篇介绍了数据标准化评价,包括数据标准化评价方法、数据标准成熟度评价、数据标准化成熟度评价流程。 第5 篇介绍了数据标准化案例,包括油气行业、多元化集团、装备制造行业、核电行业、汽车行业、金融行业、政务行业、互联网行业等行业的数据治理案例,为读者提供了专业、丰富、可信的数据治理实施范例。 本书是工业大数据应
互联网的出现使人们第一次能够访问大量的数据。比如,社交网络Facebook中的友谊图和互联网网站之间的链接图。这两幅图都包含超过10亿个节点,代表巨大的数据集。如果要使用这些数据集,就必须对其进行处理和分析。然而,仅仅是它们的大小就使得这种处理非常具有挑战性。特别是,为处理中等规模的数据集而开发的经典算法和技术,在面对如此大的数据集时往往需要超出常规的时间和空间。此外,在某些情况下,存储整个数据集甚至是不可行的,因此,必须在数据集的各个部分对其进行处理,然后很快丢弃每部分。 上述挑战推动了加工处理 大数据 (海量数据)的新工具和新技术的发展。在本书中,我们对这项工作采取了计算机科学理论的观点。特别是,我们将研究旨在捕捉 大数据 计算带来的挑战的计算模型,以及为应对这些挑战而开发的实际解决方案的特性。我们将通过调查
本书探索工业大数据的 工程方法体系 并介绍了其中的关键技术,提出了多领域的工业物理对象建模方法和查询技术。全书共10章,第1章讨论了工业大数据的内涵与特点,并给出了工业大数据工程的三个要素,即数据资源、数据分析和数据应用;第2~4章提出了领域模型驱动的数据资源的建模技术,并给出了工业大系统技术与建设方法;第5、6章讨论了敏捷工业大数据分析与运维方法,并阐述了背后的分析软件技术;第7章讨论了用户驱动的数据应用的低代码开发技术;第8~10章用风电、水电、煤矿综采三个行业,展示了工业大数据工程方法的应用过程。
本书是一本全面关注工业企业数据治理方面的工具书,主要内容分为概述篇、体系篇、工具篇、实施篇及案例篇。其中概述篇主要介绍工业企业数据治理的基础概念、主流数据治理标准及框架、数据治理的发展趋势等;体系篇主要介绍数据管控、数据战略、数据架构、主数据管理等的基本原理与管理体系;工具篇主要介绍主数据管理工具、数据模型管理工具、数据资产运营工具等;实施篇主要介绍具体实施策略及路径选择、顶层架构规划与设计、数据资产运营实施等;案例篇主要介绍电力、能源化工、钢铁、制造、战略投资等行业的数据治理案例,为读者提供专业、丰富、可信的数据治理实施范例。本书是工业大数据应用技术国家工程实验室多年潜心研究的重要科研成果的总结和凝聚,既具有理论高度,也具备面向中国工业企业的可实操性。参与本书编著的作者均
《华为数据之道》 《华为数据之道》 这是一部从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。华为是一家超大型企业,华为的数据底座和数据治理方法支撑着华为在优选170多个国家/地区开展多业态、差异化的运营。书中凝聚了大量数据治理和数字化转型方面的有价值的经验、方法论、规范、模型、解决方案和案例,不仅能让读者即学即用,还能让读者了解华为数字化建设的历程。 全书共10章,内容从逻辑上分为四个部分。 第一部分(~3章) 第1章以非数字原生企业在数字化转型方面面临的挑战开篇,介绍了华为在数据治理和数字化转型方面的目标、愿景、蓝图和框架;第2章从企业政策和架构协同的角度,介绍了企业级的数据综合治理体系,理顺了数据与变革、运营、IT之间的协同关系,明确了数据管理的责任主体在业务;第3章详细
● 如何使用R语言进行高级数据分析,涉及的技术包括广义线性模型、广义可加模型、混合效应模型、机器学习、并行处理 ● 如何使用R语言的数据可视化技术实现回归,如线性回归和高级回归,并了解回归样条和可加模型 ● 如何使用R语言实现机器学习,包含平行处理、降维、特征选取和分类 ● 如何使用R语言的多重插补技术解决数据缺失问题 ● 如何使用广义线性可加模型实现普通量、二值量和计次量的输出,如何使用自采样法(Bootstrapping)分析不确定性 ● 学习如何对个体内的变异性进行建模,进而捕捉个体在方法以及时间稳定性上的差异
SQL注入攻击是一种已经长期存在,但近年来日益增长的安全威胁,本书致力于深入探讨SQL注入问题。本书前一版荣获2009Bejtlich*图书奖,第2版对内容做了全面更新,融入了一些*的研究成果,包括如何在移动设备上利用SQL注入漏洞,以及客户端SQL注入等。本书由一批SQL注入专家编写,他们对Oracle、SQLServer、MySQL和PostgreSQL数据库平台的SQL注入问题具有独到的见解。 主要内容 ● 发现、确认和自动发现SQL注入漏洞 ● 通过SQL注入利用漏洞 ● 在代码中发现SQL注入的方法和技巧 ● 利用操作系统的漏洞 ● 在代码层和平台层防御SQL注入攻击 ● 确定是否已经遭到SQL注入攻击
本书是一部通过提供一套易于遵守及操作的方法论来实现高质量数据管理的实践指南。内容 全面、详细,并有许多实用的建议和模板,第1版推出后,已成为全球信息质量实践者的书 籍,甚至已成为美国阿肯色大学信息质量研究生项目的教科书。 本书共7章,内容包括数据质量和依赖于数据的世界、数据质量实践、关键概念、十步法流 程、设计项目结构、其他技巧和工具,以及写在最后的话。 作者将信息质量的概念框架与改善信息质量的技术、工具、操作指南相结合,提出并详细描 述了获取高质量数据和可信信息的十步法。作为本书的最新改版,作者进一步阐明并更新了流程 步骤和支持模板,整合了一些有价值的示例和案例,说明了近些年技术和数据生产的演变。 本书内容丰富,理论和实践相结合,易读性和可操作性强,可以作为数据质量管理的入门和 进阶用
《MATLAB函数及应用》以MATLAB R2020为平台编写,介绍MATLAB常用工具箱中常用的函数,并对每个函数的语法格式和应用进行详细介绍,让读者了解每个函数的功能与用法,从而领略MATLAB简单易用、处理功能强大等特点。 《MATLAB函数及应用》共14章,分别介绍矩阵相关操作函数、数据可视化函数、数据分析函数、概率统计函数、偏微分方程函数、优化函数、图像处理函数、神经网络函数、信号处理函数、控制系统函数、样条函数、小波变换函数、模糊逻辑函数、计算机视觉函数等内容。 《MATLAB函数及应用》适合MATLAB初级、中级和高级用户学习使用,也适合作为深入研究MATLAB软件的开发者的参考用书,同时也可作为一本全面涵盖MATLAB各项内容的快速查询手册。
近年来,在所有科学学科和工业环境中收集的数据量和种类都出现了爆炸式增长。如此庞大的数据集给统计和机器学习领域的研究人员带来了许多挑战。本书对高维统计学进行了详尽介绍,重点介绍核心方法论和理论,包括尾部界、集中不等式、一致律和经验过程以及随机矩阵。此外还深入探索了特定的模型类,包括稀疏线性模型、用秩约束矩阵模型、图模型和各种类型的非参数模型。书中提供了数百个工作示例和练习,既适合统计学相关课程使用,也适合统计学、机器学习和相关领域的研究生与研究人员自学。
在大数据时代,数据的获取、传输和存储融入了人类生产生活的方方面面,而大数据核心价值体现为人们对数据的分析、理解与应用。面对如此海量、高速和异构的数据,仅靠人类的认知和理解能力远不能满足价值发现的需要。同时,计算机总是针对最细粒度数据进行迭代优化的求解模式在特定场景下也不能满足数据分析的时限需求。粒计算作为一种模拟人类知识表示和问题求解的近似数据分析范式,其优点在于解决问题时能够选择合适粒度,达到求解精度和计算时效的**平衡。所以,粒计算通常能够以更高的效率获得“有效解”。本书以引领树和云模型作为数据多粒度表示的基本方法,系统地展示了引领树和云模型在大数据多粒度聚类、数据流即时聚类、半监督学习和时间序列预测等大数据分析场景中的理论研究成果及应用案例。
本书以敏捷分析工具Tableau为基础,部分章节辅以SQL讲解,系统介绍了数据可视化分析的体系和方法,内容涵盖问题分析方法、数据合并和建模、可视化图形的选择和构建、多种交互方式及其组合、仪表板设计与高级交互、基本计算和高级计算等。 本书以Tableau Desktop的应用为中心,借工具讲解原理,以原理深化工具应用,并由点及面地介绍了业务分析的思考和原理,特别是提出了实践性的"业务 数据 分析 层次框架,并以三类"详细级别 的概念贯通数据模型、高级筛选和高级计算三大主题。 本书重点介绍工具应用背后的思考方式和原理,帮助读者建立"详细级别 的思考框架,举一反三,从而实现多维、结构化分析。
本书介绍Spark应用开发的面向对象和函数式编程概念,讨论RDD和DataFrame基本抽象,讲述如何使用SparkSQL、GraphX和Spark来开发可扩展的、容错的流式应用程序,*后介绍监控、配置、调试、测试和开发等高级主题。通过本书的学习,你将能使用SparkR和PySpark API开发Spark应用程序,使用Zeppelin进行交互式数据分析,使用Alluxio进行内存数据处理,将透彻理解Spark,并能对海量数据执行全栈数据分析,*终成为数据科学家。
本书提供了学习大数据技术及架构的一站式解决方案,覆盖了大数据生态圈中的完整技术体系,包含以下内容。 . 一、数据采集 日志数据采集工具(Flume 、Logstash、Filebeat ) 数据库数据采集工具(离线采集工具 Sqoop、DataX,实时数据采集工具 Canal、Maxwell 网页数据采集工具 物联网数据采集工具 消息队列中间件 . 二、数据存储 分布式文件存储之HDFS NoSQL数据库之HBase NoSQL数据库之Redis . 三、离线数据计算 离线计算引擎MapReduce 离线计算引擎Spark . 四、实时数据计算 实时计算引擎Storm 实时计算引擎Spark Streaming 新一代实时计算引擎Flink . 五、OLAP数据分析 离线OLAP引擎(Hive、Impala、Kylin) 实时OLAP引擎(Druid、ClickHouse、Doris) . 六、全文检索引擎 Lucene Solr Elasticsearch . 七、分布式任务调度系统 Azkaban Ooize DolphinScheduler . 八、分布式资源管理 YARN的原理、架构 YARN
数字经济已成为各国经济增长的新动能,并上升为国家发展战略,各国政府和人民对数据跨境流动安全问题的关注与日俱增。本书系统介绍了全球数据跨境规则的产生背景及其发展演变的脉络,重点分析了全球主要国家和地区数据跨境治理规则的内容和相互之间的异同,特别介绍了欧盟、美国话语权下的数据跨境流动规则及规则间的弥合,也介绍了其他国际性文件及十余个重点国家和地区的立法现状,同时展望了全球数据跨境规则的未来走向,在此基础上对我国的数据跨境流动治理规则现状进行梳理,并对其实施与完善提出了相关建议。本书语言平实易读,主要以法律法规、执法部门的解释性指南、判决书等一手资料作为参考,介绍分析了国内外立法现状和法律实践。