《Spark企業級大數據項目實戰》

2017-12-8 17:30| 發布者: 岸岸| 查看: 46443| 評論: 0|原作者: 岸岸

快速報名入口

普班報名：【普班】Spark企業級大數據項目實戰（第17期） (2021/01/26開課)

      本門課程來源于一線生產項目，所有代碼都是在現網大數據集群上穩定運行，拒絕Demo。本門課程涵蓋了離線分析、實時分析絕大部分的場景，通過三個實際生產項目教授如何優雅地集成Hadoop、Spark、HBase、Kafka、Oracle、ElasticSearch等相關大數據技術，并實際落地。

     本門課程全程實操，不用擔心基礎不好，老師將會從每個項目的演進過程詳細分析，手把手搭建開發環境，每個功能點都有代碼實操，拿到生產上可以直接使用。

     本門課程大量生產上的較佳實踐，不僅能為技術選型提供參考，也能大幅度提升個人的知識和技術水平，學完可以勝任PB級大數據的開發和優化，面試中說出來都是亮點，是跳槽、轉型、加薪的利器，讓你輕松實現華麗轉身。只要你有一點Hadoop、Spark和Scala基礎，并且能保持學習的熱情，那么就跟隨老師來吧。

課程大綱：
第一課：生產項目的演進和改造思路
1. 三大生產項目（離線日志分析、企業預警實時監控、安全日志上報之Spark Streaming+Kafka保證數據零丟失）業務介紹
2. 離線分析和實時分析的場景介紹
3. 改造思路
4. Hadoop、Spark、Hbase、Kafka、ElasticSearch等項目軟件選型

第二課：手把手從零搭建開發環境
1. Hadoop、Spark、Hbase、Kafka、ElasticSearch軟件安裝
2. IDEA安裝
3. Maven工程構建
4. IDEA調試Spark項目
5. Spark源碼編譯
6. Spark作業提交方式

第三課：安全日志上報之Spark Streaming+Kafka保證數據零丟失（一）
1. Spark Streaming 整合Kafka的幾種方式對比
2. 徹底搞懂Kafka 消息檢索原理
3. 使用Spark Streaming進行Kafka 的Offset管理（Checkpoints、Hbase、Zookeeper、Kafka）
4. Spark Streaming保存offset到zookeeper亂碼處理

第四課：安全日志上報之Spark Streaming+Kafka保證數據零丟失（二）
1. 實時作業的at most once、at least once、exactly once語義
2. 方案選型和對比（四種方案）
3. Spark Streming + Kafka 如何獲取每條消息的offset、partition以及每批次的from offset、end offset、count。
4. Spark Streming + Kafka（消費） + Kafka（清洗后入）方案和代碼實操

第五課：安全日志上報之Spark Streaming+Kafka保證數據零丟失(三）
1. SQL on Hbase 實現的幾種方式
2. Spark Streming + Kafka（消費） + Hbase（清洗后入）實現exactly once語義方案
3. 代碼實操
4. SQL on Hbase 性能優化

第六課：安全日志上報之Spark Streaming+Kafka保證數據零丟失(四）
1. Spark 整合Elasticsearch要點和案例實操
2. Spark Streming + Kafka（消費） + Elasticsearch實現exactly once語義方案
3. Spark Streming + Kafka（消費） +Oracle實現exactly once語義方案
4. 代碼實操
5 Spark 整合Elasticsearch性能優化

第七課：離線日志分析項目（一）
1. 第一版問題分析
2. ETL流程分析
3. Flume+Nginx整合, 數據采集，日志分割
4. Flume如何實現負載均衡和高可用
5. 日志收集系統架構（可用性、可靠性、可擴展性）

第八課：離線日志分析項目（二）
1. 文件存儲格式對比
2. Spark 整合 Hive
3. 第二版項目方案的演進和代碼實操
4. 解決小文件問題
5. 數據質量監控

第九課：離線日志分析項目（三）
1. 理解Spark的Stage劃分，如何定位導致數據傾斜代碼，數據傾斜的場景和需要注意的地方
2. 廣播變量使用的坑
3. Spark整合Oracle的表需要注意的地方
4. Spark作業調度異常問題案例匯總

第十課：企業預警實時監控
1. 第一版：使用Spark Streaming清洗數據（Hive動態分區等） + 代碼實操
2. 第一版存在的問題分析
3. 第二版項目方案的演進和代碼實操
4. 中文亂碼問題解決

第十一課：通用解決方案
1. Hbase 二級索引
2. Hbase + ElasticSearch整合，實現海量數據查詢
3. 不通場景下， Spark 寫數據到Oracle的方案（集群和Oracle服務器網絡是否連通等. ）
4. Driver內存調優
5. 其他

授課時間：
課程將于2021年1月26日開課，課程持續時間大約為15周。

授課對象：
了解過Hadoop、Spark的即可。針對Hbase、Kafka、ES等基礎不足的同學，講師會根據項目需要對其核心部分進行詳細介紹。

預期收獲：
1. 掌握生產上企業級大數據的開發流程。
2. 可以勝任PB級大數據的開發和優化
3. 達到3年大數據從業經驗的水平

授課講師：
cqfrog，一線大數據架構和開發工程師，負責PB級大數據的技術架構和研發，熟悉大數據技術平臺選型、規劃和實施，  主導了多個大數據項目的迭代和優化，積累了豐富的經驗。

課程試聽：

新穎的課程收費形式：“逆向收費”約等于免費學習，僅收取100元固定收費+300元暫存學費，學習圓滿則全額獎勵返還給學員！

本門課程本來打算完全免費，某位大神曾經說過“成功就是正確的方向再加上適度的壓力”。考慮到講師本身要付出巨大的勞動，為了防止一些朋友在學習途中半途而廢，浪費了講師的付出，為此我們計劃模仿某些健身課程，使用“逆向收費”的方法。
在報名時每位報名者收取400元，其中100元為固定收費，另外300是暫存學費，即如果學員能完成全部課程要求，包括完成全部的書面和互動作業，則300元全款退回。如果學員未能堅持到完全所有的學習計劃任務，則會被扣款。期望這種方式可以轉化為大家強烈的學習愿望和驅動力！

課程授課方式：
1、學習方式：老師發布教學資料、教材，幻燈片和視頻，學員通過網絡下載學習。同時通過論壇互動中老師對學員進行指導及學員之間相互交流。
2、學習作業：老師每周布置書面及互動作業，學員需按時按質完成作業。
3、老師輔導：根據作業批改中發現的問題，針對性給予輔導，幫助大家掌握知識。
4、結業測驗：通過測驗，完成學業。

您是否對此課程還有疑問，那么請點擊進入 FAQ，您的問題將基本得到解答

全國統一咨詢熱線 4008-010-006

課程現開始接受報名，報名方式
網上報名請點擊：Spark企業級大數據項目實戰

咨詢Email ：edu01@dataguru.cn，edu02@dataguru.cn
課程入門討論咨詢群：706821899（群內有培訓公開課視頻供大家免費觀看）

咨詢QQ： 2222010006 (上班時間在線）