煉數成金 門戶 培訓 查看內容

《Spark企業級大數據項目實戰》

2017-12-8 17:30| 發布者: 岸岸| 查看: 46443| 評論: 0|原作者: 岸岸

Oracle 安全 大數據 Spark Kafka

快速報名入口
快班報名:【快班】Spark企業級大數據項目實戰 (隨報隨學)
      本門課程來源于一線生產項目, 所有代碼都是在現網大數據集群上穩定運行, 拒絕Demo。 本門課程涵蓋了離線分析、實時分析絕大部分的場景,通過三個實際生產項目教授如何優雅地集成Hadoop、Spark、HBase、Kafka、Oracle、ElasticSearch等相關大數據技術, 并實際落地 。

     本門課程全程實操, 不用擔心基礎不好, 老師將會從每個項目的演進過程詳細分析, 手把手搭建開發環境, 每個功能點都有代碼實操, 拿到生產上可以直接使用。

     本門課程大量生產上的較佳實踐, 不僅能為技術選型提供參考, 也能大幅度提升個人的知識和技術水平, 學完可以勝任PB級大數據的開發和優化,面試中說出來都是亮點, 是跳槽、轉型、加薪的利器 , 讓你輕松實現華麗轉身。  只要你有一點Hadoop、Spark和Scala基礎,并且能保持學習的熱情, 那么就跟隨老師來吧。

課程大綱:

第一課:  生產項目的演進和改造思路
1. 三大生產項目(離線日志分析、企業預警實時監控、安全日志上報之Spark Streaming+Kafka保證數據零丟失)業務介紹
2. 離線分析和實時分析的場景介紹
3. 改造思路
4. Hadoop、Spark、Hbase、Kafka、ElasticSearch等項目軟件選型

第二課:  手把手從零搭建開發環境
1. Hadoop、Spark、Hbase、Kafka、ElasticSearch軟件安裝
2. IDEA安裝
3. Maven工程構建
4. IDEA調試Spark項目
5. Spark源碼編譯
6. Spark作業提交方式

第三課:安全日志上報之Spark Streaming+Kafka保證數據零丟失(一)

1. Spark Streaming 整合Kafka的幾種方式對比
2. 徹底搞懂Kafka 消息檢索原理
3. 使用Spark Streaming進行Kafka 的Offset管理(Checkpoints、Hbase、Zookeeper、Kafka)
4. Spark Streaming保存offset到zookeeper亂碼處理

第四課:安全日志上報之Spark Streaming+Kafka保證數據零丟失(二)
1. 實時作業的at most once、at least once、exactly once語義
2. 方案選型和對比(四種方案)
3. Spark Streming + Kafka 如何獲取每條消息的offset、partition以及每批次的from offset、end offset、count。
4. Spark Streming + Kafka(消費) +  Kafka(清洗后入)方案和代碼實操

第五課: 安全日志上報之Spark Streaming+Kafka保證數據零丟失(三)
1. SQL on Hbase 實現的幾種方式
2. Spark Streming + Kafka(消費) + Hbase(清洗后入)實現exactly once語義方案
3. 代碼實操
4. SQL on Hbase 性能優化

第六課: 安全日志上報之Spark Streaming+Kafka保證數據零丟失(四)
1.  Spark 整合Elasticsearch要點和案例實操
2.  Spark Streming + Kafka(消費) + Elasticsearch實現exactly once語義方案
3.  Spark Streming + Kafka(消費) +Oracle實現exactly once語義方案
4.  代碼實操
5  Spark 整合Elasticsearch性能優化

第七課: 離線日志分析項目(一)
1. 第一版問題分析
2. ETL流程分析
3. Flume+Nginx整合, 數據采集,日志分割
4. Flume如何實現負載均衡和高可用
5. 日志收集系統架構(可用性、可靠性、可擴展性)

第八課:  離線日志分析項目(二)
1. 文件存儲格式對比
2. Spark 整合 Hive
3. 第二版項目方案的演進和代碼實操
4. 解決小文件問題
5. 數據質量監控

第九課:  離線日志分析項目(三)
1. 理解Spark的Stage劃分,如何定位導致數據傾斜代碼,數據傾斜的場景和需要注意的地方
2. 廣播變量使用的坑
3. Spark整合Oracle的表需要注意的地方
4. Spark作業調度異常問題案例匯總

第十課: 企業預警實時監控
1. 第一版: 使用Spark Streaming清洗數據(Hive動態分區等) + 代碼實操
2. 第一版存在的問題分析
3. 第二版項目方案的演進和代碼實操
4. 中文亂碼問題解決

第十一課: 通用解決方案
1. Hbase 二級索引
2. Hbase + ElasticSearch整合, 實現海量數據查詢
3. 不通場景下, Spark 寫數據到Oracle的方案(集群和Oracle服務器網絡是否連通等. )
4. Driver內存調優
5. 其他

授課時間:
課程將于2021年1月26日開課,課程持續時間大約為15周。

授課對象:
了解過Hadoop、Spark的即可。 針對Hbase、Kafka、ES等基礎不足的同學,講師會根據項目需要對其核心部分進行詳細介紹。

預期收獲:
1. 掌握生產上企業級大數據的開發流程。
2. 可以勝任PB級大數據的開發和優化
3. 達到3年大數據從業經驗的水平

授課講師:
cqfrog,一線大數據架構和開發工程師,負責PB級大數據的技術架構和研發, 熟悉大數據技術平臺選型、規劃和實施,  主導了多個大數據項目的迭代和優化,積累了豐富的經驗。

課程試聽:

新穎的課程收費形式:“逆向收費”約等于免費學習,僅收取100元固定收費+300元暫存學費,學習圓滿則全額獎勵返還給學員!

本門課程本來打算完全免費,某位大神曾經說過“成功就是正確的方向再加上適度的壓力”。考慮到講師本身要付出巨大的勞動,為了防止一些朋友在學習途中半途而廢,浪費了講師的付出,為此我們計劃模仿某些健身課程,使用“逆向收費”的方法。
在報名時每位報名者收取400元,其中100元為固定 收費,另外300是暫存學費,即如果學員能完成全部課程要求,包括完成全部的書面和互動作業,則300元全款退回。如果學員未能堅持到完全所有的學習計劃任務,則會被扣款。期望這種方式可以轉化為大家強烈的學習愿望和驅動力!

課程授課方式:
1、 學習方式:老師發布教學資料、教材,幻燈片和視頻,學員通過網絡下載學習。同時通過論壇互動中老師對學員進行指導及學員之間相互交流。
2、 學習作業:老師每周布置書面及互動作業,學員需按時按質完成作業。
3、 老師輔導:根據作業批改中發現的問題,針對性給予輔導,幫助大家掌握知識。
4、 結業測驗:通過測驗,完成學業。

您是否對此課程還有疑問,那么請 點擊進入 FAQ,您的問題將基本得到解答
全國統一咨詢熱線 4008-010-006

課程現開始接受報名,報名方式
網上報名 請點擊:Spark企業級大數據項目實戰
咨詢Email :edu01@dataguru.cnedu02@dataguru.cn
課程入門討論咨詢群:
706821899(群內有培訓公開課視頻供大家免費觀看)
咨詢QQ: 2222010006 (上班時間在線)

技術熱點、 行業資訊,培訓課程信息,盡在煉數成金官方微信,低成本傳遞高端知識!技術成就夢想!歡迎關注!
打開微信,使用掃一掃功能,即刻關注煉數成金官方微信賬戶,不容錯過的精彩,期待您的體驗!!!

快速報名入口
快班報名:【快班】Spark企業級大數據項目實戰 (隨報隨學)
29

鮮花

握手

雷人

路過

雞蛋

剛表態過的朋友 (29 人)

相關閱讀

熱門頻道

  • 大數據
  • 商業智能
  • 量化投資
  • 科學探索
  • 創業

 

GMT+8, 2020-12-24 05:13 , Processed in 0.157573 second(s), 34 queries .

(*^▽^*)MG黑暗故事游戏规则 河北福彩快三玩法介绍 赢钱棋牌游戏手机版 四川皮皮麻将手机版 热火vs篮网5月15日录像 天津11选五5开奖电脑版走势图 甘肃快3开奖数据 pk10技巧 稳赚六码 开心棋牌送35 微信捕鱼拿现金红包 广东快乐十分规则 吉林快3开奖结果查询 旺哥平特肖 69捕鱼棋牌游戏平台 安徽麻将教学 那个麻将平台稳定 天天捕鱼赢红包