论坛元老
- 威望
- 0
- 贡献
- 91
- 热心值
- 13
- 金币
- 4716
- 注册时间
- 2020-8-31
|
课程简介
以某知名电商用户画像系统为基础二次开发，形成本项目。包含了几乎所有的常见标签类型的计算思路，也具有数个机器学习类型的标签，标签种类充足。采用 Spark 进行数据开发，使用 Spring 系统作为业务系统开发，包含了从部署到标签计算的全流程。
讲解方式
知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。
课程亮点
1，知识体系完备，阶段学习者都能学有所获。
2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。
3，结合工作实践及分析应用，培养解决实际问题的能力。
4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。
5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。
适用人群
1、对大数据感兴趣的在校生及应届毕业生。
2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。
3、对大数据行业感兴趣的相关人员。
课程内容
第一章：用户画像概念、项目概述及环境搭建
1.用户画像产生背景与概念
2.用户画像应用场景
3.用户标识
4.项目功能模块与技术架构
5.项目标签梳理
6.项目工程导入及演示
7.项目标签系统
8.项目大数据环境搭建
9.项目工程搭建及Git使用
第二章：数据ETL加载及Oozie 应用调度
1.业务数据调研
2.数据导入几种方式
3. SQOOP导入数据至HBase表
4. HBase ImportTsv工具导入数据
5. 批量数据加载BulkLoad
6. Oozie调度工作流组成及本质
7. 配置部署Oozie调度Spark2
8. Oozie调度Spark2应用运行
9. Hue集成Oozie调度Spark2应用
10. Oozie Java Client API 使用
第三章：标签模型开发及自定义外部数据源
1. 用户画像实现方式:HiveQL和Spark
2. 用户画像功能模块:标签调度、标签管理及标签模型开发
3. 标签模型开发流程
4. Spark与HBase数据库交互
5. 用户性别标签模型开发流程:标签数据->业务数据->打标签->合并存储
6. 模板设计模式TemplatePattern思想及重构标签模型基类AbstractModel
7. SparkSession实例对象构建工具类及配置信息加载
8. 其他规则匹配类型标签模型开发
9. SparkSQL提供外部数据源实现接口分析
10. 实现外部数据源接口从HBase加载爆粗数据
11. 加载HBases数据实现字段过滤条件WhereCondition
12. 统计类型标签模型开发:年龄段、消费周期及支付方式
13. 用户标签值存储方案:标签及标签权重；
第四章：基于Solr构建画像标签索引
1. 用户标签功能【微观画像和标签查询】
2. 构建标签索引思路
3. 全文检索Solr概述及索引机制
4. Solr核心组成及目录结构
5. Solr 安装部署及启动
6. Solr 核心配置文件schema.xml
7. Solr 客户端SolrJ API使用
8. 构建Solr标签索引及配置分词器
9. HBase 协处理Coprocessor同步Solr索引数据
10. 批量插入数据至Solr
第五章：商品推荐及业务数据多数据源
1. 业务数据多数据源概述及设计思想
2. 重构加载业务数据
3. 加载MySQL、Hive及HDFS等数据源数据
4. 推荐系统核心及协同过滤算法推荐思想
5. 依据行为数据获取用户对物品评分
6. 特征数据提取及构建ALS模型
7. ALS模型推荐商品及保存
8. 总述全方位用户画像功能、业务及实现
|
|
[复制链接]
发表于 2020-11-24 23:17
