05.初始化收集端模块-编程模拟上传json数据_大数据企业项目类友盟案例视频教程_Spark培训视频_课课家

返回课程主页5

05.初始化收集端模块-编程模拟上传json数据

购买该课程后可享受以下付费特权：
24小时內讲师答疑购买课程返学分
 所有课时永久观看专属课件资料下载

价　　格： ￥898.00（新用户单课程可享约7折优惠，前往领劵>>）

购买课程尚未登录，点击重新登录点击试听试学课

大数据企业项目类友盟案例视频教程

大数据企业项目类友盟案例视频教程

(2份评价)

目录讨论笔记推荐

章节1大数据企业项目第1章

第1节[试学课]01.业务模型说明

第2节[试学课]02.架构描述

第3节[试学课]03.术语解释-新增-活跃-用户等等

第4节04.初始化weblog收集模块-公共模块-配置模块

第5节05.初始化收集端模块-编程模拟上传json数据

第6节06.通过firefox的poster插件测试web程序

第7节07.创建client数据生成程序不断发送数据给server

第8节08.client上传log时，将client系统时间写入request的header中

第9节09.编写工具类，使用内省实现属性复制

第10节10.处理server收到的日志

章节2大数据企业项目第2章

第1节01.时间修正

第2节02.属性复制

第3节03.通过GeoLite提取ip地址的真实区域

第4节04.工具类封装地理信息获取

第5节05.startuplog对象的地址设置

第6节06.地理信息进行缓存处理

第7节07.将日志信息转换成json格式发送给kafka主题

第8节08.准备kafka集群和zk集群并创建主题

第9节09.启动kakfa集群-web程序-phone程序测试数据收集

第10节10.分析flume收集kafka消息-分区手段

第11节11.自定义拦截器-添加logType和log创建时间的头信息

第12节12.导出flumejar文件部署到flume lib下

第13节13.配置flume

第14节14.添加自定义拦截器给配置文件

第15节15.使用maven命令导出工件需要的所有第三方类库

第16节16.联动测试-收集数据到hdfs

第17节17.使用json serse作为hive表的串行化处理工具

章节3大数据企业项目第3章

第1节01.使用当前线程类加载解决公共模块的加载问题

第2节02.修改flume配置文件原生类型-避免大量小文件

第3节03.使用脚本创建仓库表

第4节04.调度导入分区表数据分析

第5节05.时间导入数据分析

第6节06.使用sed编辑器处理时间问题

第7节07.编写exec.sh文件和exportData.sql文件

第8节08.使用hive命令测试导入hdfs数据到hive分区表

第9节09.修改手机端数据生成时间戳

第10节10.实现调度周期导入hdfs数据到hive分区表

第11节11.centos安装tomcat

第12节12.部署web程序到centos的tomcat下

第13节13.分析统计用户和新增用户数

第14节14.计算一天的起始和结束时间片

第15节15.计算指定天所在的周和月的时间线

第16节16.自定义UDF实现天起始和天结束时间提取

第17节17.注册UDF函数-测试

章节4大数据企业项目第4章

第1节01.DateUtil通过偏移量定位时间-统一时间访问

第2节02.注册函数-测试函数-选定库

第3节03.查询日新增-周新增-月新增-用户总数

第4节04.一次性统计一周内每天的新增用户

第5节05.通过分区查询日活-月活-周活数

第6节06.可视化web模块初始化

第7节07.添加hive-jdbcclient驱动到可视化模块-测试

第8节08.测试jdbc查询hive的自定义函数

第9节09.测试SSM连接查询hive数据库

第10节10.关闭spring管理的事务-修改mybatis映射文件中大于小于比较符转义处理

第11节11.查询指定的app今天新增用户数

第12节12.嵌套子查询-查询一周内每天新增用户

第13节13.连接web的ui程序-测试

第14节14.通过链接访问新增用户-提交job给hive-执行查询

第15节15.dubbo概述

第16节16.可视化web项目拆分-统计服务提供者模块初始化

第17节17.配置dubbo服务提供方-检查zk

第18节18.配置dubbo消费者方集成-1

章节5大数据企业项目第5章

第1节01.在hive使用using jar方式注册hdfs上的库函数

第2节02.dubbo连接超时修改-消费者可视化程序测试

第3节03.dubbo实现当前周内每天新增用户数

第4节04.dubbo测试通过web可视化-provider-Hiveserver实现周内用户新增统计

第5节05.改造dubbo模块公共资源抽取

第6节06.echart集成基础

第7节07.echart使用ajax访问服务端数据-回传回调-刷新echart图表

第8节08.echart集成json回传数据-配置web程序

第9节09.echart集成json-pom中json配置调整

第10节10.echart动态刷新图表-ajax访问controller方法

第11节11.过去五周周活跃用户数-过去六月活跃用户数

第12节12.沉默用户数

第13节13.启动次数

第14节14.版本分布

第15节15.本周回流用户-1.版本分布

第16节16.本周回流用户-2sql实现

第17节17.连续n周活跃-忠诚用户-连续活跃用户

第18节18.近期流失用户

第19节19.留存用户

第20节20.新鲜度分析

章节6大数据企业项目第6章

第1节01.python-包-import-fromimport

第2节02.python-爬虫

第3节03.python-爬虫2

第4节04.python-爬虫3

第5节05.python-集成hbase

第6节06.spark使用python实现wordcount-lambda表达式

章节7大数据企业项目第7章

第1节01.分析spark streaming实现用户行为的实时更新

第2节02.编程实现DStream聚合-firstTime-lastTime

第3节03.编程测试数据生成-聚合结果

第4节04.聚合结果再分组-插入phoenix表中

第5节05.聚合结果再分组-插入phoenix表中2

第6节06.使用phoenix-core maven依赖

第7节07.定义phoenix-udf函数

第8节08.stat服务provider和phoenix交互查询统计结果

第9节09.自定义phoenix函数

章节8大数据企业项目第8章

第1节01.phoenix UDF定义

第2节02.定义to_int函数将bigint转换成integer(针对-1)

第3节03.客户单代码测试udf函数

第4节04.phoenix UDF投影列表达式处理

第5节05.phoenix处理Day-week-month

第6节06.phoenix处理Day-week-month2

第7节07.phoenix查询周新增用户统计

第8节08.phoenix查询周活跃用户

第9节09.使用MR实现用户画像

第10节10.知识点总结

第11节11.简历指导