Oracle大数据解决方案（大数据应用与技术丛书）

第Ⅰ部分 引 言

第1章 大数据简介

1.1 大数据

1.2 谷歌的MapReduce算法和Apache Hadoop

1.3 Oracle的大数据平台

1.4 总结

第2章 大数据的价值

2.1 我是大数据吗？还是大数据是我？

2.2 大数据，小数据--仍然是数据

2.2.1 什么已经发生了？

2.2.2 现在发生了什么？

2.3 请看看现实！

2.4 你想把它做成什么？

2.5 大数据，大数字，大企业？

2.5.1 Twitter

2.5.2 Facebook

2.5.3 内部源

2.5.4 ICR：连接

2.5.5 ICR：变更

2.6 需要：大数据的价值

2.6.1 大数据案例1：医疗行业的临床试验研究

2.6.2 大数据案例2：在汽车行业的汽车设计中改进驾驶员安全

2.7 总结

第 II 部分 大数据平台

第3章 Apache Hadoop平台

3.1 软件与硬件

3.2 Hadoop的软件平台

3.2.1 Hadoop的发布与版本

3.2.2 Hadoop Distributed File System(HDFS)

3.2.3 调度、计算和处理

3.3 操作系统的选择

3.4 Hadoop硬件平台

3.4.1 CPU和内存

3.4.2 网络

3.4.3 磁盘

3.5 整合在一起

第4章 选择Appliance的理由

4.1 Oracle创建大数据机的理由

4.2 Appliance的概念

4.3 Oracle Big Data Appliance的发展目标

4.4 Appliance优化

4.5 Oracle Big Data Appliance第2版软件

4.6 Oracle大数据机X3-2硬件

4.7 Oracle获取Hadoop知识的地方

4.8 配置Hadoop集群

4.8.1 选择核心集群组件

4.8.2 组装集群

4.9 自己组建的集群

4.10 集群总成本

4.11 时间价值

4.12 如何打造更大的集群

4.13 Oracle大数据机可否支持其他软件

4.14 一体机的缺陷

第5章 BDA配置、部署架构和监控

5.1 介绍

5.1.1 大数据机X3-2满配机架(18个节点)

5.1.2 大数据机X3-2入门机架(6个节点)

5.1.3 大数据机X3-2扩展机架(6个节点)

5.1.4 BDA的硬件修改

5.1.5 大数据机X3-2的软件支持

5.2 BDA安装和配置过程

5.3 关键和非关键节点

5.4 NameNode故障自动切换

5.5 BDA磁盘存储布局

5.6 为Hadoop集群增加存储

5.7 仅有Hadoop配置和Hadoop+NoSQL数据库

5.7.1 仅有Hadoop的一体机

5.7.2 Hadoop和NoSQL数据库

5.8 内存选项

5.9 部署架构

5.9.1 云中的多租户和Hadoop

5.9.2 可扩展性

5.9.3 BDA多机架的注意事项

5.10 在BDA上安装其他软件

5.11 数据中心的BDA

5.11.1 管理网络

5.11.2 客户端访问网络

5.11.3 Infiniband私有网络

5.11.4 网络需求

5.11.5 连接到数据中心的局域网

5.11.6 连接架构的例子

5.12 Oracle大数据机的使用限制

5.13 BDA的管理和监控

5.13.1 企业管理器

5.13.2 Cloudera管理器

5.13.3 Hadoop的监控工具：Web图形用户界面

5.13.4 Oracle ILOM

5.13.5 Hue

5.13.6 DCLI工具

第6章 为大数据集成数据仓库和分析基础架构

6.1 数据仓库作为存储历史记录的数据库

6.1.1 Oracle数据库作为数据仓库

6.1.2 为什么要把数据仓库和Hadoop部署在一起

6.2 完成路径：业务分析师工具

6.3 扩建基础设施

第7章 BDA连接器

7.1 Oracle Big Data Connectors

7.2 Oracle Loader for Hadoop

7.2.1 在线模式

7.2.2 Oracle OCI Direct Path Output

7.2.3 JDBC Output

7.2.4 离线模式

7.2.5 Oracle Data Pump Output

7.2.6 带分隔符的文本输出

7.3 安装Oracle Loader for Hadoop

7.4 调用Oracle Loader for Hadoop

7.5 输入格式

7.5.1 DelimitedTextInputFormat

7.5.2 RegexInputFormat

7.5.3 AvroInputFormat

7.5.4 HiveToAvroInputFormat

7.5.5 KVAvroInputFormat

7.5.6 自定义输入格式

7.6 Oracle Loader for Hadoop配置文件

7.6.1 Loader Maps

7.6.2 额外的优化

7.6.3 利用Infiniband

7.6.4 对比Apache Sqoop

7.7 Oracle SQL Connector for HDFS

7.8 安装Oracle SQL Connector for HDFS

7.9 Hive安装

7.10 使用Oracle SQL Connector for HDFS创建外部表

7.10.1 ExternalTable配置工具

7.10.2 数据源类型

7.10.3 配置工具语法

7.10.4 必需的属性

7.10.5 可选属性

7.10.6 针对带分隔符的ExternalTable工具

7.10.7 在使用--noexecute选项的情况下测试DDL

7.10.8 在位置文件里增加一个新的HDFS文件

7.10.9 外部表的手动配置

7.11 Hive源

7.12 Oracle Data Pump源

7.13 配置文件

7.14 使用Oracle SQL Connector for HDFS查询

7.15 Oracle R Connector for Hadoop

7.16 Oracle Data Integrator Application Adapter for Hadoop

第8章 Oracle NoSQL数据库

8.1 NoSQL数据库系统的定义

8.2 Oracle NoSQL数据库

8.3 架构

8.3.1 客户端驱动程序

8.3.2 键-值对

8.3.3 存储节点

8.3.4 复制

8.3.5 智能拓扑

8.3.6 在线的灵活性

8.3.7 没有单点故障

8.4 数据管理

8.4.1 API

8.4.2 CRUD操作

8.4.3 多种更新操作

8.4.4 查找操作

8.4.5 事务

8.4.6 可预测的性能

8.5 集成

8.6 安装和管理

8.6.1 简单安装

8.6.2 管理

8.7 Oracle NoSQL数据库的特性

8.8 有用的链接

第 III 部分 分析信息和制定决策

第9章 数据库库内分析：快速交付彰显时间价值

9.1 介绍

9.1.1 Oracle数据库内分析

9.1.2 为什么在数据库内运行如此重要

9.2 Oracle数据挖掘和统计分析介绍

9.2.1 Oracle库内高级分析

9.2.2 Oracle数据挖掘

9.2.3 R语言介绍

9.2.4 文本挖掘

9.3 库内统计函数

9.4 空间分析

9.4.1 理解空间数据模型

9.4.2 查询空间数据模型

9.4.3 使用空间分析

9.4.4 让BI工具更聪明

9.5 基于图形分析

9.5.1 图形数据模型

9.5.2 查询图形数据

9.6 多维分析

9.7 库内分析：综合范例

9.7.1 在ETL过程中集成分析

9.7.2 提供指导浏览

9.7.3 提供混搭式分析

9.8 总结

第10章 使用R分析数据

10.1 Open Source R介绍

10.1.1 CRAN、Packages和Task View

10.1.2 GUI和IDE

10.2 传统的R与数据库交互对比Oracle R Enterprise

10.3 Oracle针对R的战略

10.3.1 Oracle REnterprise

10.3.2 Oracle R Distribution

10.3.3 ROracle

10.3.4 Oracle R Connector for Hadoop

10.4 Oracle R Enterprise：下一级视图

10.5 Oracle R Enterprise安装和配置

10.6 使用Oracle R Enterprise

10.6.1 透明层

10.6.2 嵌入式R执行

10.6.3 预测分析

10.7 Oracle R Connector for Hadoop

10.7.1 调用MapReduce Job

10.7.2 在非Hadoop集群下测试ORCH R脚本

10.7.3 用R与HDFS交互

10.7.4 HDFS Metadata Discovery

10.7.5 基于ORCH框架来使用Hadoop

10.7.6 在Hadoop上的预测分析

10.7.7 ORCHhive

10.7.8 Oracle R Connector for Hadoop与Oracle R Enterprise之间的交互

10.8 总结

第11章 Endeca信息发现

11.1 为什么Oracle选择Endeca

11.2 Endeca信息发现平台

11.2.1 主要功能域

11.2.2 主要特性

11.3 Endeca信息发现与商业智能

11.3.1 作用和功能不同

11.3.2 BI开发过程与信息发现方法对比

11.3.3 互补而非互斥

11.4 架构

11.4.1 Oracle Endeca服务器

11.4.2 Oracle Endeca工作室

11.4.3 Oracle Endeca集成套件

11.4.4 Exalytics上的Endeca

11.4.5 可伸缩性和负载均衡

11.5 统一多种内容集

11.5.1 Endeca不同之外

11.5.2 行业用例

11.6 Endeca实际操作

11.6.1 安装与配置

11.6.2 开发Endeca应用

第12章 大数据治理

12.1 企业数据治理的要素

12.1.1 业务输出

12.1.2 信息生命周期管理

12.1.3 合规性和风险管理

12.1.4 元数据管理

12.1.5 数据质量管理

12.1.6 主数据和引用数据管理

12.1.7 数据安全和隐私管理

12.1.8 业务流程调整

12.2 大数据怎样影响企业数据治理

12.2.1 模型化的数据和原始数据

12.2.2 大数据的类型

12.2.3 在大数据上应用数据治理

12.2.4 利用大数据治理

12.3 特定行业的案例

12.3.1 公共事业

12.3.2 卫生医疗

12.3.3 金融服务

12.3.4 零售行业

12.3.5 大众消费品

12.3.6 通信行业

12.3.7 石油和天然气

12.4 大数据如何对数据治理的角色产生影响

12.5 实施大数据治理的一种方法

第13章 大数据开发架构和路线图

13.1 大数据功能架构

13.1.1 大数据的新特点

13.1.2 大数据概念功能架构

13.1.3 产品功能和工具

13.1.4 制定大数据架构决策

13.2 架构开发流程实现增值

13.2.1 Oracle信息架构框架概述

13.2.2 采用OADP的信息架构概述

13.2.3 大数据架构开发流程

13.3 对数据管理和BI过程的影响

13.3.1 传统BI开发过程

13.3.2 大数据和分析开发过程

13.4 大数据治理

13.4.1 传统数据治理的关注点

13.4.2 大数据治理新的关注点

13.5 开发技能和人才

13.5.1 数据科学家

13.5.2 大数据开发人员

13.5.3 大数据管理员

13.6 大数据最佳实践

13.6.1 让大数据活动结合特定业务目标

13.6.2 确保集中化IT战略的标准和治理

13.6.3 使用卓越中心来最小化培训和风险

13.6.4 大数据与结构化数据关联

13.6.5 提供高性能和可伸缩的分析沙箱

13.6.6 重塑IT运营模式

大数据包含很多种技术，因此本书所有的作者都精通各自负责的对应的Oracle大数据产品。该团队在架构设计、大数据、商务智能、Hadoop、Java、MapReduce和平台设计等方面都拥有丰富经验。下面详细介绍每个作者的具体信息。

Tom Plunkett是多本书的主要作者，包括Oracle Exalogic Elastic Cloud Handbook。2009年，Tom带领一个团队为美国国防部办公室实施过一个大数据研究项目。2010年，Tom与其他人合作为弗吉尼亚理工大学的计算机科学系讲授了一学期的MapReduce和其他大数据主题的课程。2012年，Tom帮助Frederick国家癌症研究实验室(Frederick National Laboratory for Cancer Research)凭借Oracle大数据一体机在分析基因与癌症亚型之间的关系上赢得多项行业大奖，包括2012年政府大数据解决方案奖(从80多个提名的大数据项目中脱颖而出)，作为卓越创新者入围2013年政府卓越创新决赛，并获2013计算机世界创新奖。除了为Oracle工作外，Tom还担任弗吉尼亚理工大学计算机科学研究生的兼职讲师，并提供远程学习指导。Tom在大数据和云计算领域发表过40多次国际会议演讲。之前，Tom在IBM工作过并实施了Fliesler Meyer专利法。Tom拥有乔治·梅森大学(George Mason University)的文学学士和法学博士学位、弗吉尼亚理工大学(Virginia Tech)计算机科学的理学硕士，并且已经参加学习了斯坦福大学(Stanford University)管理科学与工程研究生课程(Management Science and Engineering)。

Brian Macdonald是一位卓越的解决方案顾问，是获得Oracle认证的Oracle企业架构师。Brian在架构设计和满足不同客户需求的实施分析平台方面拥有20多年的经验，包括大数据仓库、商务智能、OLAP、Hadoop、主数据管理和ETL技术。Brian曾在数百家公司工作过，包括多家顶级的世界500强公司。Brian参与很多为了提高现有业务应用的新技术研究，并为客户提供创新的解决方案。加盟Oracle之前，Brian在Information Resources公司工作，用OLAP和数据仓库技术实现了针对贷款组合管理的复杂数学算法。Brian还非常喜欢用分析技术来分析各种体育数据。

Bruce Nelson是美国西部地区Oracle大数据的负责人，专注于Hadoop和NoSQL。他在IT行业拥有超过24年的高性能数据库系统经验，包括Oracle、Oracle RAC和Oracle Exadata。作为Bizrate的数据库管理员和工程化总监，他对Bizrate.com的数据系统进行了全方位的重新设计并实施。在加盟Bizrate之前，Bruce是Countrywide Financial公司数据系统架构的副总裁，他把Oracle和Linux的商用硬件引入了Countrywide公司。他还负责过制定一些围绕早期Hadoop和商用的HPCC计算的举措。在Yahoo时，Bruce带领几个开创性的重新设计和迁移的项目，包括Yahoo的高性能Oracle RAC从SAN迁移到NFS上。1993年，Bruce开发了FileNet公司的互联网在线业务，创造了当时全球第一个几千元注册的Web网站之一。他接着创建了第一个数据库驱动的交互式客户网站，该网站支持客户在互联网上开放他们的服务票。

Helen Sun是一位大数据的理论家、信息架构师，同时还是通过认证的Oracle企业架构师。Helen拥有15年以上的业务和技术管理经验，涉及财务、医疗保健、市场研究和供应链管理。她主要的专业领域是企业数据管理和信息架构，包括主数据(MDM)、数据整合(Data Integration)、商务智能/数据仓库(BI/DW)和大数据。在Oracle工作期间，Helen协助很多大型企业完成了复杂业务和IT架构的切换。Helen是Oracle Information Architecture Framework and Development Process的主要作者，并出版过关于信息管理、数据治理和大数据的白皮书。Helen举办过一些主题研讨会，并曾在在线论坛和甲骨文全球大会(Oracle OpenWorld)上担任过发言人。她还曾在全球大数据开放组会议上发表过大数据的公开演讲。

Mark F. Hornick是一位Oracle数据库高级分析(Oracle Database Advanced Analytics)组的总监，专注于Oracle R Enterprise(ORE)、Oracle R Connector for Hadoop(ORCH)和Oracle R Distribution(ORD)。他同时为Oracle内部与外部的客户在Oracle数据库、Exadata或大数据一体机(Big Data Appliance)使用R的应用提供技术支持和专业建议，同时也会参与一些针对R与SAS的竞争分析和性能测试。Mark是Java Data Mining: Strategy, Standard, and Practice一书的合著者。他于1999年Oracle收购Thinking Machines Corp时加入了Oracle数据挖掘技术组。Mark是IOUG商务智能仓库和分析(BIWA)SIG的创始人之一，目前担任Oracle顾问。他在Oracle OpenWorld、Collaborate、BIWA Summit和R用户大会useR上做了很多培训。Mark先后获得Rutgers大学(Rutgers University)的计算机科学专业学士学位和布朗大学(Brown University)的计算机科学专业硕士学位。

Keith Laker在Oracle已经工作了15年以上，现在是数据仓库和大数据的高级产品经理。他拥有丰富的大数据、数据仓库和商务智能经验，而且承担多种工作角色，包括售后咨询、客户支持和产品管理。Keith在全球很多Oracle用户大会上发表过演讲，并且交付了很多演讲稿，涉及数据仓库、数据整合、多维建模和大数据等主题。在加盟Oracle之前，Keith在Information Resources公司工作，并为其实施了涉及全球客户范围的OLAP和数据仓库系统。

Khader Mohiuddin是Oracle公司位于北美中部地区的大数据负责人。Khader在Oracle工作了6年时间，然后在Sun Microsystems工作6年时间，在Accenture工作过3年，并于2010年再次加入Oracle。他现在的工作职责是利用他20年的企业软件、硬件和行业咨询经验设计合理的大数据解决方案，从而解决客户复杂的业务问题。Khader是一位信息架构专家，在石油天然气、电力、电信、财务和自动化工业等领域拥有丰富的解决方案开发经验，并开发实现了一个涵盖数据仓库、高级分析和高并发在线系统的创造性解决方案。Khader 于1996年第一次加入Oracle，供职于Oracle咨询部门位于纽约的分部，在此期间，他为几大主要电信公司解决了复杂数据库系统的扩展问题。他在1997年转到位于加利福尼亚州Redwood Shores的Oracle数据库研发组，为全球范围的客户设计并赢得了很多基准测试。他在2002年作为高级工程师加入Sun Microsystems，负责在Sun平台的内核上优化Oracle数据库和Oracle企业应用。在最初的Exadata架构设计、整合Sun硬件和Oracle数据库技术理论论证阶段，他扮演了关键角色。Khader在埃森哲工作期间，作为一位业务转型架构人员，为世界100强的客户设计了私有云/公有云、DbaaS和IaaS等。他帮助这些公司运用最新的技术实现了业务的高效运营，从而节省了数百万美元的成本。此外，Khader还写过一些白皮书并在一些当地的Hadoop用户大会上发表过演讲。

Debra L. Harding是一位拥有20年以上工作经验的技术专家，她具备丰富的与世界500强一起合作的行业经验，并且这些公司都把他的想法付诸实现。作为Oracle业务架构师和大数据先驱，Debra与决策管理团队一起合作改善情况，降低维护成本和复杂性，从而获得竞争优势。作为一个狂热的旅行家，Debra已经完成了跨悉尼港的大桥攀登，并尽情享受在法国阿尔卑斯山的滑雪时刻，最近她和她的小女儿完成了在阿拉斯加的哈丁冰原上的徒步旅行。然而，Debra最成功的经历却是癌症第4阶段的幸存者，正是这段经历促使她在生命科学行业运用了大数据分析技术来驱动医学的发展。在2008年，仅有2%的人被确诊为患有这种类型的癌症，这就意味着可以被用来收集和研究用于治疗该癌症的信息非常少。Debra认为通过大数据分析技术的能力分析更多的数据集，将会更加事半功倍，科学家们将从那些更小的模式中识别出异常情况，并且大家一起合作来找到更好的办法从而改变生活。

David Segleau是Oracle的产品总监，负责管理Oracle NoSQL数据库、Oracle Berkeley DB和Oracle数据移动服务器(Oracle Database Mobile Server)。他以Sleepycat Software (makers of Berkeley DB)工程学副总裁的身份加入Oracle。他在该行业拥有30年以上的经验，负责和管理技术产品团队。他具备丰富的数据库技术能力，既做过客户，也当过供货商。David做过很多技术公司的管理人员，其中包括Britton-Lee、ShareBase、Teradata、Illustra、Informix、ANTs Software、Sleepycat Software和目前所在的Oracle。David花费了他职业生涯绝大部分时间去开创和创新技术。他非常享受在做产品研发时，会同时考虑客户的业务需求和产品开发的专业知识，因此创造了能解决实际问题的产品和技术。

Gokula Mishra是Oracle公司的副总裁，并负责全球市场的高级分析、大数据团队和IBU。Gokula在业务驱动IT战略、企业信息管理、大数据、数据仓库和商务智能、大数据和高级分析架构以及解决方案的设计、开发和管理实施方面拥有25年以上的经验。他的行业经验涵盖零售、消费品、石油天然气、能源、金融服务、医疗保健和生命科学，以及制造业。他是一位实践家，也是高级分析和大数据、主数据、数据质量和数据管理的领导者。在加入Oracle之前，Gokula曾经服务过Sears Holdings、HP、TransUnion、EW Solutions、Sierra Atlantic、Booz & Co.和ZS Associates。Gokula获得BITS Pilani大学电子和电子工程的工学学士学位(荣誉)，以及西北大学(Northwestern University)计算机科学系的理学硕士学位。

Robert Stackowiak是Oracle公司企业架构和信息架构部门的副总裁。他在Oracle数据仓库、大数据战略、商务智能技术和解决方案方面的经验是全球公认的。他在世界各地的大会上发表商务智能和数据库技术的演讲，并且撰写了很多关于商务智能和数据库技术的书籍和文章，其中包括Achieving Extreme Performance with Oracle Exadata(Oracle出版)，五个版本的Oracle Essentials(O’ Reilly Media)和Oracle Data Warehousing and Business Intelligence Solutions(Wiley)。详细信息可以关注Twitter @rstackow。

Jean-Pierre Dijcks是Oracle服务器技术部门的高级资深产品经理，专注于研究大数据技术。攻读完荷兰特温特大学(University of Twente)的工业工程专业学位后，Jean-Pierre担任Oracle荷兰区数据仓库顾问，在此期间负责整个欧洲的数据仓库实施。2000年末，他调入Oracle产品开发部，担任Oracle Warehouse Builder的产品经理。2008年之后，Jean-Pierre一直担任Oracle数据库并行计算的产品经理。目前Jean-Pierre的主要工作方向是大数据和Hadoop，包括Oracle大数据一体机(Oracle Big Data Appliance)。

Dan McClary目前是Oracle公司的资深产品经理，主要负责大数据和Hadoop。在加盟Oracle之前，他担任位于加州Palo Alto的Red Robot实验室商务智能的总监。此前，他曾作为访问学者到美国西北大学和霍华德休斯医学研究所，在此期间，研究使用Hadoop技术处理复杂系统中的大型图形问题。McClary博士获得了亚利桑那州立大学(Arizona State University)计算科学系的博士学位，集中研究移动和即席应用网络的自适应优化问题。他拥有亚利桑那州立大学(Arizona State University)计算科学系硕士学位，研究分布式文件系统中的硬实时调度，他是imgSurf的创始人，这是一家生物识别和电子病历领域的公司。

为这个项目大家付出了巨大的努力。在此感谢本书所有的作者，他们在自己本职工作之余付出了宝贵时间。同时感谢Oracle和支持本项目所有大数据邮件列表里的成员。感谢技术编辑JP和Dan，他们提供了很多建议和注解。感谢Oracle出版社、McGraw-Hill编辑和制作团队，尤其感谢Paul Carlstroem和Amanda Russell。感谢Doug Cutting、Margo Seltzer、Melliyal Annamalai、Peter Jeffcock和许多为此书提供过建议、反馈意见和材料的人。最后，有太多的人需要单独感谢，我们在此就不再一一提及了。

来自Tom Plunkett的致谢

感谢Laura、Daniel、Daphne、我的父母和我其他的家庭成员，因为为写此书而占用了我陪伴他们的时间。同时也感谢与我合作的作者、技术编辑、我的同事、我的管理团队、我的编辑和每一位为此书做过努力和付出的人。特别感谢Rizwan Jaka、Mark Comishock、Ken Currie、Peter Doolan、Mark C. Johnson、Lauren Farese、Mark A. Johnson和Franco Amalfi，感谢他们对我的支持和鼓励。

来自Brian Macdonald的致谢

感谢Yvette、Julianna和Jazzy对此书的理解和工作的激情。没有你们的支持，我肯定无法完成本书。着重感谢Melliyal Annamalai的技术专长，并且乐此不疲地帮助我解决所有细节问题。感谢我所有的同事和合作者，他们提供了很多宝贵的见解，而且作为我的智囊团从大量的建议中筛选有价值的意见；尤其是Jim Fisher、Bruce Nelson和Marty Gubar。我要感谢Nuge Ajouz和Craig Lockwood多年的支持，促使我仍有机会保持着工作的激情，最终完成了这本书。最后，感谢Tom Plunkett在我创作这本书过程中给予的专业指导。

来自Bruce Nelson的致谢

我要衷心感谢我的妻子Hilary Nelson和我的儿子Zachary，他们大力支持和理解我选择的道路，而且我如此痴迷信息技术的世界。感谢Brian Macdonald和Tom Plunkett鼓励我涉足本书的项目。我还要感谢Jeff Needham和Ed Gasiorowski的帮助和长时间的讨论，他们给予的很多见解和灵感最终都融入到本书里。最后，我们都要感激热衷于Hadoop社区的无名英雄们。

来自Helen Sun的致谢

感谢我丈夫William Smith和儿子Nathaniel Smith给予的真诚理解，以及我所有家庭成员在我写作本书过程中不断给予的支持和理解。

同时也感谢我的父母，我的父亲Huazhi Sun和心爱的已故的母亲Hongyuan Lin，他们始终给我灌输学习的热情和追求成功的精神，这些都不断地推动我追求更高的生活和工作目标。

来自Khader Mohiuddin的致谢

感谢我的父母和兄弟姐妹，他们的辛勤工作为我提供了良好的基础和指导，使我的生活和事业在这个阶段取得成功。感谢我的妻子和孩子包容我在写作这本书上用了大量假期和业余时间。我同时也感谢Jacco Draaijer、Jean-Pierre Dijcks、Dan McClary和Brian Macdonald对我所写材料的技术评阅，同时还要感谢一直鼓励我开拓进取的Tom Plunkett。还要感谢在Cenveo Publishing Services工作的Nidhi Chopra和在McGraw-Hill Professional的Oracle出版社的所有工作人员，他们负责管理并控制在每个时间点上把Oracle工程化系统中最新的创新产品特征加入到本书中。

来自David Segleau的致谢

感谢我的妻子Lynn持续不断的支持我占用了大量的业余时间去书写本书第8章。Lynn同时还是我的第一个审阅人和编辑。非常感谢Tom Plunkett、Dan McClary和J.P. Dijcks提供帮助和技术审阅。最后，感谢整个的Oracle NoSQL数据库工程化系统团队，他们为我提供了这款优秀产品的许多素材。

来自Gokula Mishra的致谢

感谢我的妻子Ratna和孩子们(Seetal、Jyoti和Samir)，他们给予很多支持、鼓励和理解，我因为写作管理章节而占用了大量的周末时间。同时我还要感谢与我一起合作的作者和同事的鼓励和支持。特别感谢Tom Plunkett的帮助和指导；特别感谢J.P. Dijcks和Dan McClary给我所写章节提供的反馈意见和点评；同时还要特别感谢Sunil Soaresfor给予的灵感。

本书描述Oracle的大数据方法论。本书可作为所有对大数据感兴趣人士的参考手册，包括架构师、管理员和开发人员。为使介绍更全面，本书将更多地关注Oracle产品未来的版本。虽然有其他关于大数据和Apache Hadoop的书，但这是第一本专门阐述Oracle大数据方法论的书籍。阅读该技术手册之前，不需要读者事先具备任何Oracle大数据方法论的知识。该书里含有截屏、图和一些相关的照片。

在过去几年里(2010年到2013年)，大数据是最大的技术热点。数据以极快的速度在增长(部分分析师认为有60%的复合年增长率；另外一些人认为增长率超过100%)。相比传统的IT领域，越来越多的信息将要被存储和处理。基于Apache Hadoop的新技术能帮助企业分析不同类型数据。企业基于这些信息在激烈的竞争环境下做出决策时，往往要结合非结构化数据和结构化数据一起来分析，非结构化数据包括Facebook上的职位信息，Twitter上的用户情感信息、传感器、交通信息等，结构化数据则包括在线处理系统和传统的数据仓库。

Oracle最近又宣布了一些重要的新产品，这些产品都与大数据密切相关。Oracle数据库、 Oracle Exadata数据库一体机、Exalytics一体机、Endeca Information Discovery、Oracle NoSQL Database和Oracle数据库的Advanced Analytics Option都具备处理大数据的能力。Oracle大数据一体机(Big Data Appliance)包括Oracle硬件、Oracle NoSQL和Cloudera’s Distribution of Hadoop。Oracle大数据连接器(Big Data Connectors)提供从HDFS到Oracle数据库连接的能力。所有这些产品，还有其他更多产品都会在本书中阐述。

第Ⅰ部分：引言

第1章：大数据简介?描述大数据的重要性，为什么现在是热门技术，什么地方适合用到Oracle的技术。

第2章：大数据的价值?描述大数据价值的定义。该章会提到一个深度大数据案例的列表，这些案例在后续章节会被引用。

第Ⅱ部分：大数据平台

第3章：Apache Hadoop平台?描述Hadoop的软硬件基础和它运行在商用Linux平台上的能力。

第4章：选择Appliance的理由?提供运行在Oracle大数据一体机(Big Data Appliance)和自建Apache Hadoop集群(在常用硬件之上)的性能对比。该章节提供总拥有成本的计算(TCO)并讨论不同分析类型的影响。

第5章：BDA配置、部署架构和监控?描述配置选项：只选Hadoop、只选NoSQL、选Hadoop和NoSQL、多台BDA以及用BDA rack连接Exadata。同时将描述内存选项，按需分配容量、NameNode节点高可用性和多租户。该章还涵盖管理和监控Hadoop集群的工作。