首頁 > 選課中心 > 分布式系統 > 【快班】Spark企業級大數據項目實戰
【快班】Spark企業級大數據項目實戰
此課程所屬 【大數據攻城獅專業】, 【hadoop大數據工程師職業方向】專業,報名專業套餐,可享受0元學習特惠!點擊了解詳情
隨報隨學 共11課 ★☆☆
開課時間 課程周期 難易度
招生中

立即報名
Oracle 安全 大數據 Spark Kafka
課程介紹
      本門課程來源于一線生產項目, 所有代碼都是在現網大數據集群上穩定運行, 拒絕Demo。 本門課程涵蓋了離線分析、實時分析絕大部分的場景,通過三個實際生產項目教授如何優雅地集成Hadoop、Spark、HBase、Kafka、Oracle、ElasticSearch等相關大數據技術, 并實際落地 。

     本門課程全程實操, 不用擔心基礎不好, 老師將會從每個項目的演進過程詳細分析, 手把手搭建開發環境, 每個功能點都有代碼實操, 拿到生產上可以直接使用。

     本門課程大量生產上的較佳實踐, 不僅能為技術選型提供參考, 也能大幅度提升個人的知識和技術水平, 學完可以勝任PB級大數據的開發和優化,面試中說出來都是亮點, 是跳槽、轉型、加薪的利器 , 讓你輕松實現華麗轉身。  只要你有一點Hadoop、Spark和Scala基礎,并且能保持學習的熱情, 那么就跟隨老師來吧。
課程大綱
第一課:  生產項目的演進和改造思路
1. 三大生產項目(離線日志分析、企業預警實時監控、安全日志上報之Spark Streaming+Kafka保證數據零丟失)業務介紹
2. 離線分析和實時分析的場景介紹
3. 改造思路
4. Hadoop、Spark、Hbase、Kafka、ElasticSearch等項目軟件選型

第二課:  手把手從零搭建開發環境
1. Hadoop、Spark、Hbase、Kafka、ElasticSearch軟件安裝
2. IDEA安裝
3. Maven工程構建
4. IDEA調試Spark項目
5. Spark源碼編譯
6. Spark作業提交方式

第三課:安全日志上報之Spark Streaming+Kafka保證數據零丟失(一)
1. Spark Streaming 整合Kafka的幾種方式對比
2. 徹底搞懂Kafka 消息檢索原理
3. 使用Spark Streaming進行Kafka 的Offset管理(Checkpoints、Hbase、Zookeeper、Kafka)
4. Spark Streaming保存offset到zookeeper亂碼處理

第四課:安全日志上報之Spark Streaming+Kafka保證數據零丟失(二)
1. 實時作業的at most once、at least once、exactly once語義
2. 方案選型和對比(四種方案)
3. Spark Streming + Kafka 如何獲取每條消息的offset、partition以及每批次的from offset、end offset、count。
4. Spark Streming + Kafka(消費) +  Kafka(清洗后入)方案和代碼實操

第五課: 安全日志上報之Spark Streaming+Kafka保證數據零丟失(三)
1. SQL on Hbase 實現的幾種方式
2. Spark Streming + Kafka(消費) + Hbase(清洗后入)實現exactly once語義方案
3. 代碼實操
4. SQL on Hbase 性能優化

第六課: 安全日志上報之Spark Streaming+Kafka保證數據零丟失(四)
1.  Spark 整合Elasticsearch要點和案例實操
2.  Spark Streming + Kafka(消費) + Elasticsearch實現exactly once語義方案
3.  Spark Streming + Kafka(消費) +Oracle實現exactly once語義方案
4.  代碼實操
5  Spark 整合Elasticsearch性能優化

第七課: 離線日志分析項目(一)
1. 第一版問題分析
2. ETL流程分析
3. Flume+Nginx整合, 數據采集,日志分割
4. Flume如何實現負載均衡和高可用
5. 日志收集系統架構(可用性、可靠性、可擴展性)

第八課:  離線日志分析項目(二)
1. 文件存儲格式對比
2. Spark 整合 Hive
3. 第二版項目方案的演進和代碼實操
4. 解決小文件問題
5. 數據質量監控

第九課:  離線日志分析項目(三)
1. 理解Spark的Stage劃分,如何定位導致數據傾斜代碼,數據傾斜的場景和需要注意的地方
2. 廣播變量使用的坑
3. Spark整合Oracle的表需要注意的地方
4. Spark作業調度異常問題案例匯總

第十課: 企業預警實時監控
1. 第一版: 使用Spark Streaming清洗數據(Hive動態分區等) + 代碼實操
2. 第一版存在的問題分析
3. 第二版項目方案的演進和代碼實操
4. 中文亂碼問題解決

第十一課: 通用解決方案
1. Hbase 二級索引
2. Hbase + ElasticSearch整合, 實現海量數據查詢
3. 不通場景下, Spark 寫數據到Oracle的方案(集群和Oracle服務器網絡是否連通等. )
4. Driver內存調優
5. 其他
授課講師
cqfrog,一線大數據架構和開發工程師,負責PB級大數據的技術架構和研發, 熟悉大數據技術平臺選型、規劃和實施,  主導了多個大數據項目的迭代和優化,積累了豐富的經驗。
課程環境

操作系統: Vmware + CentOS 6.5 , 物理機內存最好8G以上。

 開發工具: IDEA

 大數據: CDH 5.7

授課對象

有一點Hadoop、Spark的基礎。 針對Hbase、Kafka、ES等基礎不足的同學,講師會根據項目需要對其核心部分進行詳細介紹。 

收獲預期

1. 掌握生產上企業級大數據的開發流程。

2. 可以勝任PB級大數據的開發和優化

3. 達到3年大數據從業經驗的水平

課程學費
學費:400元(固定學費:300元 + 逆向學費:100元)
新穎的課程收費形式:“逆向收費”約等于免費學習,課程收取300元固定收費 + 100元逆向學費,學習圓滿則全額獎勵返還給學員!
特別說明如下
本門課程本來打算完全免費,某位大神曾經說過“成功就是正確的方向再加上適度的壓力”。考慮到講師本身要付出巨大的勞動,為了防止一些朋友在學習途中半途而廢,浪費了講師的付出,為此我們計劃模仿某些健身課程,使用“逆向收費”的方法。 在 報名時每位報名者收取400元,其中300元為固定 收費,另外100元是暫存學費,即如果學員能完成全部課程要求,包括完成全部的書面作業,則100元全款退回。如果學員未能堅持到完全所有的學習計劃任務,則會被扣款。期望這種方式可以轉化為大家強烈的學習愿望和驅動力!
課程授課方式

1、 學習方式:老師發布教學資料、教材,幻燈片和視頻,學員通過網絡下載學習。同時通過論壇互動中老師對學員進行指導及學員之間相互交流。

2、 學習作業:每課均有布置課后作業,學員完成書面作業后則可進入下一課學習。

3、 老師輔導:通過論壇站內信及郵件等多種方式與老師進行一對一互動。

4、 完成課程:最后一課作業交納后,老師完成作業批改,即可完成課程并取回相應剩余的逆向學費。

聯系我們
咨詢Email :edu01@dataguru.cnedu02@dataguru.cn
課程入門討論咨詢QQ群:706821899(群內有培訓公開課視頻供大家免費觀看)
咨詢QQ: 點擊這里給我發消息 點擊這里給我發消息
您是否對此課程還有疑問,那么請 點擊進入FAQ,您的問題將基本得到解答
全國統一咨詢熱線: 4008-010-006
最新技術熱點、 最新行業資訊,最新培訓課程信息,盡在煉數成金官方微信,低成本傳遞高端知識!技術成就夢想!歡迎關注!
打開微信,使用掃一掃功能,即刻關注煉數成金官方微信賬戶,不容錯過的精彩,期待您的體驗!!!

授課老師

老師其他課程

其他快班課程

【快班】Node.js Web開發實戰
【快班】漫步華爾街
【快班】目標檢測模型YOLOV3原理及實戰
【快班】Cloudera Hadoop管理認證實戰
【快班】【強化學習系列】強化視覺導航技術導引
【快班】PostgreSQL初識與提高
【快班】區塊鏈新時代:技術原理與實操
【快班】Python全棧學習——Python基礎及Web開發
【快班】端到端(End TO End)--由傳統方法到深度學習
【快班】【百萬年薪系列】寬度學習實戰及算法解析
【快班】敏捷Agile快速入門
【快班】安全滲透測試工具之Burp Suite使用精講
【快班】Python全棧學習——Python自動化測試
【快班】系統運維之基礎服務進階實戰
【快班】Elastic Stack實戰
【快班】測試架構師核心技術
【快班】python網絡爬蟲應用實戰
【快班】locust性能測試實戰
【快班】大話流式處理系統 Flink 核心原理
【快班】PyTorch – 深度學習全棧工程師進階案例實戰
【快班】MySQL高可用原理、架構與實戰
【快班】快速成為深度學習全棧工程師
【快班】Python數據可視化實戰
【快班】股票投資高手武器系列之纏論系統
【快班】基于R的Kaggle實戰案例詳解
【快班】計算機視覺:從入門到精通,極限剖析圖像識別學習算法
【快班】黃金Quant工——量化金融分析師入門
【快班】DL4CV實戰——構建基于深度學習的智能圖像識別系統
【快班】Web全棧開發理論與實踐
【快班】Oracle DB Performance Tuning(DSI系列Ⅳ)
【快班】精準安防場景理解及語義分割
【快班】【免費公開課】Python 的安裝與部署
【快班】計算機視覺算法詳解與實戰開發
【快班】Python金融業數據化運營實戰
【快班】人臉識別精準安防講習班
【快班】Oracle SQL Tuning(DSI系列Ⅲ)
【快班】人臉識別90天速成特訓班
【快班】Python3入門到精通實戰特訓
【快班】基于軟件學習數據挖掘算法與案例
【快班】股票投資基礎之技術分析
【快班】股票投資基礎之基本面分析
【快班】Python機器學習
【快班】python3接口自動化測試開發實戰
【快班】【免費公開課】《Hadoop入門手冊》——CDH集群安裝
【快班】Datastage基礎及開發實踐
【快班】Tensorflow工程師職場實戰技
【快班】互聯網金融中的交易反欺詐模型
【快班】OpenAI強化學習實戰
【快班】Node.js項目實戰:從編寫代碼到服務器部署
【快班】Java Web開發精講
【快班】JavaScript從入門到精通
【快班】讓服務飛起來:實時計算及其應用
【快班】突擊pyspark:數據挖掘的力量倍增器
【快班】贏在大數據-人工智能的應用實踐
【快班】【免費公開課】《數據科學入門手冊》——DSX架構與部署
【快班】【免費公開課】數據科學無難事
【快班】【免費公開課】《Hadoop入門手冊》之 虛擬機的安裝和使用
【快班】【免費公開課】玩轉數據藝術-數據展示技巧應用實戰
【快班】【免費公開課】玩轉數據科學——IBM DSX
【快班】【免費公開課】《Hadoop入門手冊》——Apache Hadoop集群安裝
【快班】【免費公開課】贏在大數據-數據化運營落地實戰
【快班】大數據管理
【快班】Streams流計算引航公開課
【快班】抽樣調查
【快班】LATEX公式排版系統引航
【快班】Watson Analytics數據分析應用實戰公開課
【快班】數據陷阱解讀
【快班】R七種武器之文本挖掘包tm
【快班】R七種武器之可視化JS庫HTMLWidgets包
【快班】R七種武器之數據加工廠plyr
【快班】R七種武器之交互化展示包shiny
【快班】R七種武器之網絡爬蟲RCurl
【快班】R七種武器之數據可視化包ggplot2
【快班】R七種武器之金融數據分析quantmod
【快班】Java經驗談
【快班】Go語言實戰編程
【快班】DB2 V11新特性全解析
【快班】DB2數據庫引航公開課
【快班】STATA統計分析入門
【快班】初識正則表達式
【快班】perl語言入門
【快班】Scala語言入門
【快班】知識圖譜實戰
【快班】【百萬年薪系列】視覺的盛宴:深度玩轉人臉識別
【快班】深入淺出設計模式
【快班】Oracle特殊恢復原理與實戰(DSI系列)
【快班】Puppet 運維自動化
【快班】ROS機器人操作系統實戰
【快班】開啟智慧眼-深度玩轉計算機視覺與機器認知
【快班】 深度學習框架Keras學習與應用
【快班】zabbix企業級實踐
【快班】Qt編程快速入門
【快班】python web框架企業實戰詳解
【快班】python魔鬼訓練營
【快班】數據治理及數據倉庫模型設計
【快班】金融的人工智能革命
【快班】軟件架構必備基礎
【快班】MySQL性能優化最佳實踐
【快班】Spark源碼導讀
【快班】Spark大數據平臺應用實戰
【快班】金融時間序列分析
【快班】左飛的機器學習十八般算法武藝詳解
【快班】計算機視覺與深度學習實戰
【快班】Hadoop集群原理與運維實踐
【快班】OpenCV計算機視覺產品實戰
【快班】黃美靈的Spark ML機器學習實戰
【快班】DevSecOps安全交付應用實戰
【快班】JavaScript突擊-從精通到項目實戰
【快班】R語言魔鬼訓練營
【快班】基于案例學習bash腳本編程
【快班】量化投資基礎計算與模型
【快班】老板說服術之玩轉數據展示
【快班】區塊鏈技術從入門到精通
【快班】Python機器學習Kaggle案例實戰
【快班】深入淺出Git
【快班】Oracle高可用
【快班】數據庫系統實現技術內幕
【快班】Goldengate從入門到精通
【快班】PL/SQL實戰魔鬼訓練營
【快班】Oracle 12c特性解讀-容器數據庫和災備
【快班】Oracle DBA從小白到入職實戰應用
【快班】MySQL DBA從小白到大神實戰
【快班】深入淺出Oracle
【快班】深度學習PostgreSQL
【快班】Oracle 12C RAC集群原理與管理實戰
【快班】Mycat從入門到精通
【快班】基于案例學SQL優化
【快班】ELKStack及Solr企業級搜索引擎實戰
【快班】大型電商分布式系統實踐
【快班】深入理解Storm與大數據實戰
【快班】深入淺出Spring
【快班】Java魔鬼訓練營
【快班】面試突擊-數據結構與算法速成
【快班】JAVA極客特訓
【快班】深入JVM內核—原理、診斷與優化
【快班】Excel數據分析師突擊—從入門到精通到項目實戰
【快班】人工智能前沿系列之生成式對抗網絡
【快班】基于案例學習時間序列分析
【快班】自己動手實踐神經網絡
【快班】 深度學習框架Tensorflow學習與應用
【快班】自然語言處理軟件實驗
【快班】Redis技術實戰
【快班】推薦系統
【快班】Zookeeper分布式系統開發實戰
【快班】Python數據分析案例實戰
【快班】Python金融投資分析實踐
【快班】Kafka原理剖析及實戰演練
【快班】實戰Java高并發程序設計
【快班】MongoDB實戰
【快班】應用系統架構優化方法與案例實戰
【快班】金融市場基礎
【快班】Python自然語言分析
【快班】Python突擊—從入門到精通到項目實戰
【快班】HBase從入門到精通
【快班】Hive數據倉庫實踐
【快班】Hadoop數據分析平臺
【快班】數據分析與SAS
【快班】比特幣
【快班】機器讀心術之文本挖掘與自然語言處理
【快班】機器讀心術之神經網絡與深度學習
【快班】快速上手Jmeter性能測試工具
【快班】軟件性能測試
【快班】軟件自動化測試Selenium2
【快班】大數據必知的java基礎
【快班】快速數據挖掘平臺RapidMiner
【快班】R語言編程技巧
【快班】深入BI之Kettle篇
【快班】基于案例學Java服務器端程序設計
【快班】Scala從基礎到開發實戰
【快班】供應鏈物流—電商發展的“核”動力
【快班】詳解SQL與PL/SQL
【快班】Oracle職業直通車
【快班】深度玩轉Excel
【快班】Hadoop應用開發實戰案例
【快班】大數據的Linux基礎
【快班】機器學習
【快班】量化投資
【快班】SPSS數據分析入門與提高
【快班】Python數據分析
【快班】NoSQL與NewSQL數據庫引航
【快班】大數據算法導論
【快班】大數據的矩陣計算基礎
【快班】R語言數據分析、展現與實例
【快班】大數據的統計學基礎

GMT+8, 2020-12-24 03:55 , Processed in 0.220078 second(s), 33 queries .

(*^▽^*)MG黑暗故事游戏规则 急速赛车开奖 福彩3D最近2000期走势图 江西快3开奖结果定牛 天天三分彩走势 可以玩开元棋牌的app 微乐家乡麻将手机版 环亚旗舰厅娱乐平台下载 辽宁11选5玩法公式 山西快乐10分下注 海南环岛赛游戏开奖 三国麻将攻城 微乐捉鸡麻将最新版下载安装 广东11选5开奖直播 湖北11选5走势图表前三直 高手论坛精准三头中特 极速赛车开奖数据