R语言与大数据编程实战(高级大数据人才培养丛书)

第1章 R的基本介绍1

1.1 强大的R1

1.2 R语言在大数据中的应用2

1.2.1 R语言用户行为分析2

1.2.2 R语言处理金融大数据3

1.2.3 R语言天气数据可视化4

1.2.4 R语言医疗大数据分析4

1.3 R的安装与启动5

1.3.1 安装并启动R6

1.3.2 安装并启动一个IDE7

1.4 R的向量、矩阵和数组8

1.4.1 向量的操作方法和固有属性8

1.4.2 矩阵的操作和运算10

1.4.3 数组中的维度函数13

1.5 R的列表和数据框14

1.5.1 列表的特性和编辑方法14

1.5.2 数据框的创建和基本操作17

1.6 R数据文件的载入和载出19

1.6.1 结构化纯文本文件的读取和输出19

1.6.2 其他文件的读取和输出22

1.7 向R中安装包23

第2章 原始数据的探索与预处理26

2.1 度量数据集的集中程度26

2.2 度量数据集的分散程度27

2.2.1 极值、方差和标准差27

2.2.2 标准误和偏度系数、峰度系数29

2.3 创建一个数值摘要表30

2.4 异常值的观测与说明32

2.4.1 利用箱线图观测异常值并处理32

2.4.2 异常值检测的其他情况和说明34

2.5 缺失值的填补与处理35

2.5.1 删除缺失值或对其进行简单填补36

2.5.2 按照相关性对空缺值进行填补38

第3章 R的数据可视化40

3.1 plot()函数和常用的图形参数40

3.1.1 设置plot()函数中的参数40

3.1.2 修改散点图的坐标并加入标注43

3.2 经典的基础图形及用途45

3.2.1 线图45

3.2.2 直方图49

3.2.3 箱线图和茎叶图52

3.3 将图形组合起来55

3.4 更多的高水平作图函数57

3.5 更多的常用作图命令59

第4章 R中参数的估计和检验62

4.1 使用R进行点估计和区间估计62

4.1.1 简单的点估计和区间估计62

4.1.2 估计单侧置信区间65

4.2 与正态总体有关的参数检验68

4.3 列联表与独立性检验71

4.4 几种检验数据分布的函数72

4.5 对非正态总体的区间估计和检验75

4.5.1 非正态总体的区间估计75

4.5.2 非参数检验中的符号检验76

4.5.3 非参数检验中的秩检验78

第5章 R中的方差分析80

5.1 方差分析模型的建立80

5.2 单因素方差分析81

5.2.1 单因素方差分析的数学思想与模型81

5.2.2 检验样本是否满足方差分析的假设条件82

5.2.3 构建单因素方差分析模型84

5.3 多因素方差分析87

5.3.1 多因素方差分析的数学思想与模型87

5.3.2 不考虑交互作用的双因素方差分析88

5.3.3 考虑交互作用的双因素方差分析89

5.4 秩检验和协方差分析91

5.4.1 对控制变量应用秩检验方法91

5.4.2 协方差分析的假设与应用92

第6章 R中的相关分析和回归分析94

6.1 多种相关系数的度量和分析94

6.1.1 简单相关系数的计算和检验94

6.1.2 散布矩阵图和偏相关系数96

6.1.3 典型相关分析98

6.2 线性回归分析及其常规参数99

6.2.1 对数据进行预处理100

6.2.2 构建第一个回归模型101

6.2.3 修正方程并检验残差102

6.3 使用逐步回归筛选自变量104

6.3.1 逐步回归的思想与分类104

6.3.2 构建逐步回归模型105

6.4 哑变量和逻辑回归107

6.4.1 哑变量和逻辑回归的思想107

6.4.2 向线性回归模型中纳入哑变量108

第7章 更高级的数据可视化110

7.1 基础图形的拓展与延伸110

7.1.1 绘制分类散点图并添加图标110

7.1.2 绘制含多种类别的密度分布图112

7.1.3 复合条形图和堆栈条形图114

7.2 有关多元分布函数的特殊图形117

7.2.1 星图和脸谱图117

7.2.2 轮廓图120

7.2.3 调和曲线图122

7.3 建立最简单的3D图形123

7.4 如何让图形更美观125

7.5 更多的绘图包和系统128

第8章 R中的聚类分析和判别分析129

8.1 几种聚类分析的异同129

8.2 使用R实现KNN聚类130

8.2.1 KNN算法的思想和模型130

8.2.2 使用R实现KNN聚类131

8.3 使用R实现系统聚类133

8.3.1 系统聚类的思想和模型133

8.3.2 使用R实现系统聚类134

8.4 使用R实现快速聚类136

8.4.1 快速聚类的思想和模型136

8.4.2 使用R实现快速聚类137

8.5 几种判别分析模型综述140

8.5.1 距离判别模型140

8.5.2 Fisher判别模型142

第9章 R中的主成分分析和因子分析145

9.1 主成分分析的实现与应用145

9.1.1 主成分分析的模型假设和数据处理145

9.1.2 构造一个主成分分析模型147

9.1.3 计算主成分的综合得分149

9.2 因子分析的初次构建与完善150

9.2.1 构造一个简单的因子分析模型150

9.2.2 计算因子得分并分析152

9.3 对因子分析模型进行修正153

9.3.1 修改因子分析模型中的因子个数153

9.3.2 基于主成分法和主轴因子法进行因子分析155

9.4 在降维分析的基础上进行回归分析和聚类分析157

9.4.1 在降维分析的基础上进行回归分析157

9.4.2 在降维分析的基础上进行聚类分析160

第10章 R中的广义线性回归模型162

10.1 一般的广义线性回归模型162

10.1.1 使用二次函数拟合线性回归模型162

10.1.2 拟合更多的广义线性模型164

10.1.3 比较线性模型的优劣166

10.2 Logistic线性回归模型168

10.2.1 Logistic模型的原理与构建方法168

10.2.2 Logistic模型的显著性检验和优势比170

10.2.3 修正被警告的Logistic模型171

10.3 泊松回归分析模型173

10.3.1 拟合第一个泊松回归模型174

10.3.2 泊松回归模型的过散布检验176

10.4 广义线性模型的交叉验证178

第11章 R中的时间序列模型180

11.1 将数据转换为时间序列格式180

11.1.1 使用ts()函数转换数据格式并绘制时间序列曲线180

11.1.2 使用zoo()函数转换数据格式并绘制时间序列曲线182

11.2 分解时间序列并检验时间序列的自相关性185

11.2.1 使用经典方法分解时间序列185

11.2.2 使用STL方法分解时间序列186

11.3 探究时间序列的自相关性188

11.3.1 使用月图和季度图探究自相关性188

11.3.2 使用散点图探究自相关性189

11.4 构建时间序列并预测191

11.4.1 均值预测、单纯预测和漂移192

11.4.2 不考虑长期趋势和季节波动的简单指数平滑195

11.4.3 在指数平滑中加入长期趋势和季节波动196

11.4.4 自回归移动平均模型198

第12章 R中的最优化问题201

12.1 最优化问题简述201

12.2 黄金分割法202

12.2.1 黄金分割法和局部最优解202

12.2.2 使用R实现黄金分割法203

12.3 牛顿最优化方法205

12.3.1 牛顿法的算法原理206

12.3.2 在一维情形下实现牛顿迭代法207

12.3.3 在多维情形下实现牛顿迭代法209

12.4 最快上升法210

12.4.1 利用梯度求解上升最快的相邻点210

12.4.2 构建最快上升法函数并检验212

12.5 R中的最优化函数213

第13章 使用R绘制地理信息图形216

13.1 绘制世界、国家、省市地图216

13.1.1 使用map()函数绘制地图216

13.1.2 另一种绘制地图的方法218

13.1.3 分省市绘制地图220

13.2 向地图中添加颜色222

13.2.1 向地图中添加颜色前的准备工作222

13.2.2 在地图上添加颜色224

13.3 向地图中添加标签和线条226

13.3.1 向地图中添加标签前的准备工作226

13.3.2 在地图上添加标签228

13.3.3 在地图上添加线条230

13.4 使用其他格式的文件优化地图232

第14章 使用R构建支持向量机236

14.1 构建一个简单的支持向量机236

14.1.1 支持向量机的算法原理236

14.1.2 构建一个简单的支持向量机238

14.1.3 使用其他核函数构建支持向量机241

14.2 优化支持向量机的参数243

14.2.1 优化参数degree244

14.2.2 优化参数cost247

14.2.3 优化参数gamma249

14.3 比较支持向量机与Logistic回归的优劣252

14.4 比较支持向量机和KNN聚类算法的优劣255

第15章 实现更高效的流程控制和高级循环257

15.1 R中的流程控制257

15.1.1 if语句的多种实现方法257

15.1.2 ifelse语句与花括号的结合258

15.1.3 适合多分支情况的switch语句260

15.2 R中的for循环、while循环和repeat循环262

15.2.1 R中的for循环和while循环262

15.2.2 R中的repeat循环264

15.3 apply家族中的循环函数266

15.3.1 R中的apply()函数266

15.3.2 R中的lapply()函数和sapply()函数269

15.3.3 R中的tapply()函数271

15.3.4 R中的mapply()函数274

15.4 更多的高级循环函数276

15.4.1 R中的replicate()函数和sweep()函数276

15.4.2 R中的aggregate()函数279

第16章 R代码的调试与优化282

16.1 R代码的常见信息与警告282

16.1.1 R代码的正常信息与警告282

16.1.2 R代码中的警告处理方法284

16.2 R代码中的错误与错误处理方法285

16.2.1 使用try()函数处理错误信息285

16.2.2 将try()函数与循环相结合287

16.3 调试R代码288

16.3.1 查看调用栈或暂停代码288

16.3.2 修改error选项290

16.4 向量化编程方法291

16.4.1 向量化编程思想291

16.4.2 比较循环和向量的运行速度292

第17章 构建电影评分预测模型295

17.1 获取数据并探索295

17.2 利用recommenderlab包处理数据297

17.3 建立模型并评估299

17.3.1 模型的选择与建立299

17.3.2 模型之间的比较和评估301

第18章 贝叶斯垃圾邮件过滤器模型303

18.1 贝叶斯模型中的条件概率303

18.2 复杂的数据预处理过程304

18.2.1 利用for循环读入多封邮件正文304

18.2.2 利用tm包进一步转换数据格式306

18.2.3 将TDM转换成真正有用的数据框307

18.3 利用occurrece值构造分类器309

18.3.1 完成理论准备并处理测试邮件和普通邮件309

18.3.2 创建一个函数