实时网站制作(论坛网站制作)

　　课程简介

　　当前我们正处于一个数据经济时代，无论对于一线互联网企业，还是传统企业，对于内部累积的海量数据，都可以从中挖掘出对企业发展深有裨益的知识财富。对于数据挖掘工具而言，实时计算则更能紧跟当前实时数据动态变换，给出一些实时策略调整建议。对于实时计算而言，当前流行的计算工具以Storm(JStorm)、Spark Streaming、Flink为代表，诚然这些工具确实解决了很大部分实时计算需求，但对于一些传统企业或创业早期公司而言，如果也想解决实时计算需求，限于内部资源（人才和硬件）问题，则不见得适合选择这些相对比较重量级框架（维护成本很高）；就解决问题而言，如同架构设计或企业招聘一样，选择合适解决方案即可。

　　我个人一直从事搜索推荐方面的架构设计工作，根据在百丽优购、搜狐、网易、一点资讯等多年的个性化推荐架构设计经验，这次带领大家一起学习实时计算架构以及在个性化推荐中的使用，重点给大家介绍如何零基础构建一个轻量级实时计算平台，理论结合实践，并重点讲述案例，深入剖析。

　　课程大纲

　　第1课 实时计算当前应用

　　1.1 何为实时计算系统？

　　1.2 实时计算与日常生活

　　1.3 实时计算在日常工作

　　1.4 当前主流实时计算框架

　　1.4.1 Storm/Jstorm

　　1.4.2 Spark Streaming

　　1.5 当前实时计算在企业应用

　　1.5.1 实时计算在一线互联网企业

　　1.5.2 实时计算在传统企业与初创企业

　　第2课 构建属于自己的轻量级实时计算框架

　　1.1 实时计算的实现原理

　　1.2 构建轻量级实时计算框架架构总体设计

　　1.2.1 数据流实时接收

　　1.2.2 资源管理

　　1.2.3 任务调度

　　1.2.4 独立计算任务

　　第3课 实时计算框架—数据流实时接收篇

　　3.1 当前主流MQ

　　3.1.1 RabbitMQ

　　3.1.2 Kafka

　　3.2 实时数据流处理方式

　　3.2.1 单条

　　3.2.2 Mini- Batch

　　第4课 实时计算框架—底层数据传输篇

　　4.1 RPC

　　4.1.1 Thrift

　　4.1.2 Avro

　　4.2 WebService

　　4.2.1 基于Jetty嵌入式Servlet

　　4.2.2 SpringBoot

　　第5课 实时计算框架——资源管理任务调度篇

　　5.1 资源管理—zookeeper

　　5.2 任务调度---定时任务

　　第6课 实时计算框架之独立任务计算

　　6.1 map/reduce

　　6.2 fork/join

　　第7课 实时计算框架之高可用及服务监控

　　7.1 Shard

　　7.2 replica

　　7.3 服务监控

　　7.3.1 服务所在硬件监控

　　7.3.2 服务实时健康状况监控

　　7.3.3 服务降级

　　第8课 实时计算框架之缓存篇

　　8.1 网络缓存: Redis/ssdb/memecach/bdb

　　8.2 本地缓存: GuavaCache

　　第9课 个性化推荐系统之常用算法

　　9.1 内容相似

　　9.2 关联规则

　　9.3 协同过滤

　　9.4 主题模型

　　9.5 深度学习框架dp4j

　　第10课 个性化推荐之用户画像介绍及推荐服务流程

　　10.1 用户画像组成

　　10.2 个性化推荐服务流程

　　第11课 个性化推荐之用户画像实时更新

　　11.1 逻辑回归模型

　　11.2 正负反馈

　　11.3 用户画像实时更新流程

　　第12课 高可用搜索服务系统之索引篇

　　12.1 ES vs Solr综合比较

　　12.2 海量索引拆分

　　12.3 多集群索引双写同步

　　第13课 高可用搜索服务系统之查询篇

　　13.1 多集群独立查询

　　13.2 服务故障转移

　　13.3 个性化搜索

　　授课时间：课程将于2017年11月18日开课，课程持续时间大约为15周。

　　授课对象：有一定Java基础，对实时计算、数据挖掘、搜索及个性化推荐感兴趣的同学。

　　授课环境：eclipse + Linux + java8

　　收获预期：

　　1. 有自己应对实时计算需求的解决方案，不再盲从跟众，有自己独到见解。

　　2. 对实时计算涉及底层技术都能熟练使用；

　　3. 对当前个性化推荐及搜索有整体认识，并有能力付诸于企业实践；

　　讲师简介：

　　light, 某海外资讯创业公司首席架构师&技术合伙人，硕士毕业10年，曾任职多个一线互联网企业技术专家、资深架构师等，多年来一直从事搜索、数据挖掘和个性化推荐的设计、研发工作，曾多次从零构建完整的搜索和推荐系统，曾开源轻量级分布式实时计算框架light_drtc，并于2016年出版《分布式实时计算框架原理及实践案例》一书。