首頁 > 選課中心 > 分布式系統 > 【快班】讓服務飛起來:實時計算及其應用
【快班】讓服務飛起來:實時計算及其應用
此課程所屬 【大數據攻城獅專業】專業,報名專業套餐,可享受0元學習特惠!點擊了解詳情
隨報隨學 共13課 ★★☆
開課時間 課程周期 難易度
招生中

立即報名
管理 架構 框架 高可用 架構設計
課程介紹
      當前我們正處于一個數據經濟時代,無論對于一線互聯網企業,還是傳統企業,對于內部累積的海量數據,都可以從中挖掘出對企業發展深有裨益的知識財富。對于數據挖掘工具而言,實時計算則更能緊跟當前實時數據動態變換,給出一些實時策略調整建議。對于實時計算而言,當前流行的計算工具以Storm(JStorm)、Spark Streaming、Flink為代表,誠然這些工具確實解決了很大部分實時計算需求,但對于一些傳統企業或創業早期公司而言,如果也想解決實時計算需求,限于內部資源(人才和硬件)問題,則不見得適合選擇這些相對比較重量級框架(維護成本很高);就解決問題而言,如同架構設計或企業招聘一樣,選擇合適解決方案即可。
  我個人一直從事搜索推薦方面的架構設計工作,根據在百麗優購、搜狐、網易、一點資訊等多年的個性化推薦架構設計經驗,這次帶領大家一起學習實時計算架構以及在個性化推薦中的使用,重點給大家介紹如何零基礎構建一個輕量級實時計算平臺,理論結合實踐,并重點講述案例,深入剖析
課程大綱

1課 實時計算當前應用

    1.1 何為實時計算系統?

    1.2 實時計算與日常生活

    1.3 實時計算在日常工作

    1.4 當前主流實時計算框架

         1.4.1 Storm/Jstorm

         1.4.2 Spark Streaming

     1.4.3 底層技術

    1.5 當前實時計算在企業應用

         1.5.1 實時計算在一線互聯網企業

         1.5.2 實時計算在傳統企業與初創企業

2課 構建屬于自己的輕量級實時計算框架

     1.1 實時計算演變

     1.1.1 簡易版

     1.1.2 升級版

     1.1.3 升級版應用案例

     1.2 構建個人終極實時計算框架

          1.2.1 總體邏輯架構

          1.2.2 總體物理架構

          1.2.3 要點難點

3課 實時計算框架數據流實時接收篇

     3.1 當前主流MQ

          3.1.1 RabbitMQ

          3.1.2 Kafka

     3.2 實時數據流處理方式

          3.2.1 單條

          3.2.2 Mini- Batch

     3.3 應用實例

      實時接收新聞APP的用戶行為數據、入庫并同時更新用戶畫像標簽權重

4課 實時計算之底層服務通信

     4.1 當然熱門RPC

          4.1.1 Thrift

        架構、數據類型、傳輸協議及傳輸和服務方式

        分詞服務實例:java-python

          4.1.2 Avro

        序列化/反序列化實例

        RPC服務實例: java-2-javahelloworld

     4.2 WebService

         4.2.1 基于Jetty嵌入式的輕量級WebService實例

5課 實時計算框架——SpringBoot和資源管理Zookeeper

      5.1 輕量級WebService: SpringBoot

      簡介

      SpringBoot VS SpringMVC

          快速開發(base on Version1.5.9)

          SpringBoot vs Jetty嵌入式WebService

          實際項目演練

      5.2 資源管理—zookeeper

          簡介

      Zk安裝啟動(base on Version3.4.11)

      ZK之Web管理工具zkdash

      客戶端CuratorCRUD及監聽

      實際項目演練

6課 實時計算之任務調度及任務拆分獨立計算

      6.1 任務調度

      Linux Crontab

      Quartz

      JDK自身Timer

      實際項目演練

      6.1 任務拆分獨立計算

          Map/Reduce

      Fork/Join

      Map/Reduce VS Fork/Join

      實際項目演練

7課 實時計算框架之高可用及服務監控

      7.1 服務高可用

      7.1.1 QPS/TPS

      7.1.2 異步并行執行

      7.1.3 多級緩存

          7.1.4 Shard/replica

      7.2 服務監控

           7.2.1 服務所在硬件監控

           7.2.2 服務實時健康狀況監控

           7.2.3 服務降級

8課 實時計算框架之緩存篇

       8.1 網絡緩存:

       8.1 redis/ssdb/memcachedb

       8.2 Redis4.0安裝及新特性

       8.3 Redis客戶端使用

       8.2 本地緩存:

       8.2.1 GuavaCache

       緩存清理策略

        兩種使用方式

       8.2.2 MapDB簡介及使用

9課 個性化推薦系統之常用算法

       9.1 內容相似

       9.1.1 常用分詞器

       9.1.2 內容相似算法

       9.2 關聯規則

       9.3 協同過濾: UserCFItemCF

       9.4 知識圖譜

           9.4.1 前世今生

       9.4.2 Neo4J

       9.4.3 OrientDB

       9.5 主題模型

       9.5.1 詞義擴展:w2v d2v

       9.5.2 層級聚類

10課 深度學習DLJ和用戶畫像

       10.1 深度學習框架DL4J

        10.1.1 簡介及Java使用

        10.1.2 模型訓練:w2vd2v

        10.1.3 使用訓練好的模型:w2vd2v

       10.2 用戶畫像組成

        10.2.1 用戶畫像直觀形象

        10.2.2 不同維度看待

        10.2.3 畫像存儲

11課 個性化推薦之用戶畫像實時更新

       11.1 實時個性化推薦服務

        11.1.1 user-feature

        11.1.2 doc-feature

        11.1.3 二次排序

       11.2 用戶畫像實時更新流程

        11.2.1 正負反饋

        11.2.2 時間衰減:牛頓冷卻定理

        11.2.2 實時興趣標簽權重更新

12課 高可用搜索服務系統之索引篇

       12.1 ES vs Solr

            12.1.1 DBEngines排名比較

            12.1.2 綜合比較

       12.2 最新ES6.X介紹

            xpack

            head

            bigdesk

            new feature

       12.2 海量索引拆分:背景及解決方案

       12.3 多集群索引雙寫同步

13課 高可用搜索服務系統之查詢篇

       13.1 高可用搜索服務

        ES集群健康狀況監測

        雙ES集群互備

            搜索服務之雙讀

            索引拆分后高效使用

       13.2 個性化搜索

        條件過濾查詢

        關鍵詞檢索、結合知識圖譜

        個性化搜索:相同搜索條件,不同返回結果

        實時計算用戶畫像

授課講師
light, 某海外資訊創業公司首席架構師&技術合伙人,碩士畢業10年,曾任職多個一線互聯網企業技術專家、資深架構師等,多年來一直從事搜索、數據挖掘和個性化推薦的設計、研發工作,曾多次從零構建完整的搜索和推薦系統,曾開源輕量級分布式實時計算框架light_drtc,并于2016年出版《分布式實時計算框架原理及實踐案例》一書。
課程環境
eclipse + linux  + java8
授課對象
有一定Java基礎,對實時計算、數據挖掘、搜索及個性化推薦感興趣的同學。
收獲預期

1. 有自己應對實時計算需求的解決方案,不再盲從跟眾,有自己獨到見解。

2. 對實時計算涉及底層技術都能基本使用;

3. 對當前個性化推薦及搜索有整體認識;

課程學費
學費:400元(固定學費:300元 + 逆向學費:100元)
新穎的課程收費形式:“逆向收費”約等于免費學習,課程收取300元固定收費 + 100元逆向學費,學習圓滿則全額獎勵返還給學員!
特別說明如下
本門課程本來打算完全免費,某位大神曾經說過“成功就是正確的方向再加上適度的壓力”。考慮到講師本身要付出巨大的勞動,為了防止一些朋友在學習途中半途而廢,浪費了講師的付出,為此我們計劃模仿某些健身課程,使用“逆向收費”的方法。 在 報名時每位報名者收取400元,其中300元為固定 收費,另外100元是暫存學費,即如果學員能完成全部課程要求,包括完成全部的書面作業,則100元全款退回。如果學員未能堅持到完全所有的學習計劃任務,則會被扣款。期望這種方式可以轉化為大家強烈的學習愿望和驅動力!
課程授課方式

1、 學習方式:老師發布教學資料、教材,幻燈片和視頻,學員通過網絡下載學習。同時通過論壇互動中老師對學員進行指導及學員之間相互交流。

2、 學習作業:每課均有布置課后作業,學員完成書面作業后則可進入下一課學習。

3、 老師輔導:通過論壇站內信及郵件等多種方式與老師進行一對一互動。

4、 完成課程:最后一課作業交納后,老師完成作業批改,即可完成課程并取回相應剩余的逆向學費。

聯系我們
咨詢Email :edu01@dataguru.cnedu02@dataguru.cn
課程入門討論咨詢QQ群:706821899(群內有培訓公開課視頻供大家免費觀看)
咨詢QQ: 點擊這里給我發消息 點擊這里給我發消息
您是否對此課程還有疑問,那么請 點擊進入FAQ,您的問題將基本得到解答
全國統一咨詢熱線: 4008-010-006
最新技術熱點、 最新行業資訊,最新培訓課程信息,盡在煉數成金官方微信,低成本傳遞高端知識!技術成就夢想!歡迎關注!
打開微信,使用掃一掃功能,即刻關注煉數成金官方微信賬戶,不容錯過的精彩,期待您的體驗!!!

授課老師

其他快班課程

【快班】Node.js Web開發實戰
【快班】漫步華爾街
【快班】目標檢測模型YOLOV3原理及實戰
【快班】Cloudera Hadoop管理認證實戰
【快班】【強化學習系列】強化視覺導航技術導引
【快班】PostgreSQL初識與提高
【快班】區塊鏈新時代:技術原理與實操
【快班】Python全棧學習——Python基礎及Web開發
【快班】端到端(End TO End)--由傳統方法到深度學習
【快班】【百萬年薪系列】寬度學習實戰及算法解析
【快班】敏捷Agile快速入門
【快班】安全滲透測試工具之Burp Suite使用精講
【快班】Python全棧學習——Python自動化測試
【快班】系統運維之基礎服務進階實戰
【快班】Elastic Stack實戰
【快班】測試架構師核心技術
【快班】python網絡爬蟲應用實戰
【快班】locust性能測試實戰
【快班】大話流式處理系統 Flink 核心原理
【快班】PyTorch – 深度學習全棧工程師進階案例實戰
【快班】MySQL高可用原理、架構與實戰
【快班】快速成為深度學習全棧工程師
【快班】Python數據可視化實戰
【快班】股票投資高手武器系列之纏論系統
【快班】基于R的Kaggle實戰案例詳解
【快班】計算機視覺:從入門到精通,極限剖析圖像識別學習算法
【快班】黃金Quant工——量化金融分析師入門
【快班】DL4CV實戰——構建基于深度學習的智能圖像識別系統
【快班】Web全棧開發理論與實踐
【快班】Oracle DB Performance Tuning(DSI系列Ⅳ)
【快班】精準安防場景理解及語義分割
【快班】【免費公開課】Python 的安裝與部署
【快班】計算機視覺算法詳解與實戰開發
【快班】Python金融業數據化運營實戰
【快班】人臉識別精準安防講習班
【快班】Oracle SQL Tuning(DSI系列Ⅲ)
【快班】人臉識別90天速成特訓班
【快班】Python3入門到精通實戰特訓
【快班】基于軟件學習數據挖掘算法與案例
【快班】股票投資基礎之技術分析
【快班】股票投資基礎之基本面分析
【快班】Python機器學習
【快班】python3接口自動化測試開發實戰
【快班】【免費公開課】《Hadoop入門手冊》——CDH集群安裝
【快班】Datastage基礎及開發實踐
【快班】Tensorflow工程師職場實戰技
【快班】互聯網金融中的交易反欺詐模型
【快班】OpenAI強化學習實戰
【快班】Node.js項目實戰:從編寫代碼到服務器部署
【快班】Java Web開發精講
【快班】JavaScript從入門到精通
【快班】突擊pyspark:數據挖掘的力量倍增器
【快班】贏在大數據-人工智能的應用實踐
【快班】【免費公開課】《數據科學入門手冊》——DSX架構與部署
【快班】【免費公開課】數據科學無難事
【快班】【免費公開課】《Hadoop入門手冊》之 虛擬機的安裝和使用
【快班】【免費公開課】玩轉數據藝術-數據展示技巧應用實戰
【快班】【免費公開課】玩轉數據科學——IBM DSX
【快班】【免費公開課】《Hadoop入門手冊》——Apache Hadoop集群安裝
【快班】【免費公開課】贏在大數據-數據化運營落地實戰
【快班】大數據管理
【快班】Streams流計算引航公開課
【快班】抽樣調查
【快班】LATEX公式排版系統引航
【快班】Watson Analytics數據分析應用實戰公開課
【快班】數據陷阱解讀
【快班】R七種武器之文本挖掘包tm
【快班】R七種武器之可視化JS庫HTMLWidgets包
【快班】R七種武器之數據加工廠plyr
【快班】R七種武器之交互化展示包shiny
【快班】R七種武器之網絡爬蟲RCurl
【快班】R七種武器之數據可視化包ggplot2
【快班】R七種武器之金融數據分析quantmod
【快班】Java經驗談
【快班】Go語言實戰編程
【快班】DB2 V11新特性全解析
【快班】DB2數據庫引航公開課
【快班】STATA統計分析入門
【快班】初識正則表達式
【快班】perl語言入門
【快班】Scala語言入門
【快班】Spark企業級大數據項目實戰
【快班】知識圖譜實戰
【快班】【百萬年薪系列】視覺的盛宴:深度玩轉人臉識別
【快班】深入淺出設計模式
【快班】Oracle特殊恢復原理與實戰(DSI系列)
【快班】Puppet 運維自動化
【快班】ROS機器人操作系統實戰
【快班】開啟智慧眼-深度玩轉計算機視覺與機器認知
【快班】 深度學習框架Keras學習與應用
【快班】zabbix企業級實踐
【快班】Qt編程快速入門
【快班】python web框架企業實戰詳解
【快班】python魔鬼訓練營
【快班】數據治理及數據倉庫模型設計
【快班】金融的人工智能革命
【快班】軟件架構必備基礎
【快班】MySQL性能優化最佳實踐
【快班】Spark源碼導讀
【快班】Spark大數據平臺應用實戰
【快班】金融時間序列分析
【快班】左飛的機器學習十八般算法武藝詳解
【快班】計算機視覺與深度學習實戰
【快班】Hadoop集群原理與運維實踐
【快班】OpenCV計算機視覺產品實戰
【快班】黃美靈的Spark ML機器學習實戰
【快班】DevSecOps安全交付應用實戰
【快班】JavaScript突擊-從精通到項目實戰
【快班】R語言魔鬼訓練營
【快班】基于案例學習bash腳本編程
【快班】量化投資基礎計算與模型
【快班】老板說服術之玩轉數據展示
【快班】區塊鏈技術從入門到精通
【快班】Python機器學習Kaggle案例實戰
【快班】深入淺出Git
【快班】Oracle高可用
【快班】數據庫系統實現技術內幕
【快班】Goldengate從入門到精通
【快班】PL/SQL實戰魔鬼訓練營
【快班】Oracle 12c特性解讀-容器數據庫和災備
【快班】Oracle DBA從小白到入職實戰應用
【快班】MySQL DBA從小白到大神實戰
【快班】深入淺出Oracle
【快班】深度學習PostgreSQL
【快班】Oracle 12C RAC集群原理與管理實戰
【快班】Mycat從入門到精通
【快班】基于案例學SQL優化
【快班】ELKStack及Solr企業級搜索引擎實戰
【快班】大型電商分布式系統實踐
【快班】深入理解Storm與大數據實戰
【快班】深入淺出Spring
【快班】Java魔鬼訓練營
【快班】面試突擊-數據結構與算法速成
【快班】JAVA極客特訓
【快班】深入JVM內核—原理、診斷與優化
【快班】Excel數據分析師突擊—從入門到精通到項目實戰
【快班】人工智能前沿系列之生成式對抗網絡
【快班】基于案例學習時間序列分析
【快班】自己動手實踐神經網絡
【快班】 深度學習框架Tensorflow學習與應用
【快班】自然語言處理軟件實驗
【快班】Redis技術實戰
【快班】推薦系統
【快班】Zookeeper分布式系統開發實戰
【快班】Python數據分析案例實戰
【快班】Python金融投資分析實踐
【快班】Kafka原理剖析及實戰演練
【快班】實戰Java高并發程序設計
【快班】MongoDB實戰
【快班】應用系統架構優化方法與案例實戰
【快班】金融市場基礎
【快班】Python自然語言分析
【快班】Python突擊—從入門到精通到項目實戰
【快班】HBase從入門到精通
【快班】Hive數據倉庫實踐
【快班】Hadoop數據分析平臺
【快班】數據分析與SAS
【快班】比特幣
【快班】機器讀心術之文本挖掘與自然語言處理
【快班】機器讀心術之神經網絡與深度學習
【快班】快速上手Jmeter性能測試工具
【快班】軟件性能測試
【快班】軟件自動化測試Selenium2
【快班】大數據必知的java基礎
【快班】快速數據挖掘平臺RapidMiner
【快班】R語言編程技巧
【快班】深入BI之Kettle篇
【快班】基于案例學Java服務器端程序設計
【快班】Scala從基礎到開發實戰
【快班】供應鏈物流—電商發展的“核”動力
【快班】詳解SQL與PL/SQL
【快班】Oracle職業直通車
【快班】深度玩轉Excel
【快班】Hadoop應用開發實戰案例
【快班】大數據的Linux基礎
【快班】機器學習
【快班】量化投資
【快班】SPSS數據分析入門與提高
【快班】Python數據分析
【快班】NoSQL與NewSQL數據庫引航
【快班】大數據算法導論
【快班】大數據的矩陣計算基礎
【快班】R語言數據分析、展現與實例
【快班】大數據的統計學基礎

GMT+8, 2020-12-24 03:47 , Processed in 0.110886 second(s), 35 queries .

(*^▽^*)MG黑暗故事游戏规则 秒速赛车稳赚7绝招 天天捕鱼(赢话费) 陕西十一选五任六推荐 香港王中王中特精选玄机 天天电玩城325经典版 上游棋牌麻将 欢乐麻将血流麻将规则 福彩3d官网 广东福彩36选7走势 陕西快乐十分一等奖 杰克棋牌手机端网盘下载 腾讯全民麻将 下载江西抚州掌趣麻将 美女捕鱼短视频 吉林体彩十一选五开奖结果走势 海南4+1玩法。特殊号码的哪个