大数据项目实战-某头条亿级流量采集与监控2020年8月,IT资源网
下载地址:加入VIP超值
**** Hidden Message *****
课程简介
本课程是大数据项目实战系列课程，项目基于某条亿级流量背景，实现了一站式的数据采集与监控。包含了行为数据、产品数据、业务数据的高效采集，定义并监控数据采集流程中各个指标，当数据采集链路发生故障时能够及时收到报警，同时当遇到性能问题时，通过监控系统我们能更有针对性的优化采集流程。项目设计基于场景而非基于行业，选择以技术驱动，重在各技术组件的组合，目的是解决特定场景的问题。课程从零环境基础出发，逐步搭建完成，能够帮助你快速搭建亿级流量场景下的数据采集平台。
关键词:大数据 2020数据采集数据监控 数据仓库 lua flume hadoop hive Prometheus Grafana
01_项目背景.mp4
02_项目需求.mp4
03_监控项目架构.mp4
04_数据格式解析.mp4
05_OpenResty安装.mp4
06_创建OpenResty应用.mp4
07_编写应用主配置文件nginx.conf.mp4
08_编写应用子配置文件collect-app.conf.mp4
09_测试并启动应用.mp4
10_配置接口到数据管理中心.mp4
11_日志切分.mp4
12_Hadoop安装.mp4
13_Flume安装.mp4
14_编写Flume配置文件.mp4
15_编写Flume拦截器.mp4
16_部署Flume拦截器.mp4
17_资讯数据采集Flume配置.mp4
18_资讯数据采集Flume Agent对接数据管理中心.mp4
19_业务数据采集SQOOP脚本.mp4
20_Hive安装配置.mp4
21_Beeline加载JsonSerde.mp4
22_创建行为数据表.mp4
23_创建行为数据加速表.mp4
24_创建新闻资讯表.mp4
25_创建业务数据表.mp4
26_编译安装Azkaban Solo Server.mp4
27_Azkaban 作业流开发.mp4
28_Azkaban 作业流定时调度.mp4
29_DingTalk添加Webhook机器人.mp4
30_DingTalk SDK测试.mp4
31_Azkaban Alert接口开发.mp4
32_Azkaban Alert插件部署.mp4
33_Azkaban Alert插件运行测试.mp4
34_Prometheus安装.mp4
35_Prometheus数据模型介绍.mp4
36_架构简介.mp4
37_Supervisor与Prometheus集成.mp4
38_Supervisor与Grafana集成.mp4
39_Grafana集成Prometheus数据源.mp4
40_加载nginx-lua-prometheus扩展模块.mp4
41_nginx指标收集.mp4
42_nginx metric接口配置到prometheus.mp4
43_监控指标最终效果展示.mp4
44_Supervisor管理Flume Agent.mp4
45_flume-exporter接口配置到prometheus.mp4
46_在Grafana上配置flume metric 监控.mp4
笔记.rar
代码.rar
资料.rar
软件.rar
下载地址:
加入VIP超值
**** Hidden Message *****
页:
[1]