第一階段：大數據技術(linux+Hadoop2+Storm+Spark)

　　Linux

　　1、 Linux的介紹：Linux的發展歷史、Linux和Windows的對比和優勢、Linux的常見版本

　　2、 Linux的安裝：VMware Workstation虛擬軟件安裝過程、CentOS虛擬機安裝過程

　　3、 Linux的常用命令：常用命令的介紹、常用命令的使用和練習

　　4、 VI、VIM編輯器：VI、VIM編輯器的介紹、VI、VIM扥使用和常用快捷鍵

　　5、 Linux用戶和組賬戶管理：用戶的管理、組管理

　　6、 Linux系統文件權限管理：文件權限介紹、文件權限的操作

　　7、 Linux的RPM軟件包管理：RPM包的介紹、RPM安裝、卸載等操作

　　8、Linux網絡：Linux網絡的介紹、Linux網絡的配置和維護

　　9、Shell編程：Shell的介紹、Shell腳本的編寫

　　10、Linux上常見軟件的安裝：安裝JDK、安裝Tomcat、安裝Eclipse

　　Hadoop

　　1、 Hadoop基礎知識：Hadoop產生背景、Hadoop在大數據、云計算中的位置和關系、國內外Hadoop應用案例介紹、國內Hadoop的就業情況分析及課程大綱介紹、分布式系統概述、Hadoop生態圈以及各組成部分的簡介、Hadoop為分布式環境搭建、SSH免密碼登陸的配置和原理、Hadoop核心MapReduce例子說明

　　2、 分布式文件系統HDFS：分布式文件系統HDFS簡介、HDFS的系統組成介紹、HDFS的組成部分詳解、副本存放策略及路由規則、命令行接口、Java接口、Hadoop的RPC機制、HDFS上傳下載數據過程和源碼分析、客戶端與HDFS的數據流講解

　　3、 分布式計算模型MapReduce：如何理解map、reduce計算模型、剖析偽分布式下MapReduce作業的執行過程、序列化、MapReduce的類型與格式、MapReduce簡單開發環境搭建和Maven環境搭建、MapReduce應用開發、更多示例講解，熟悉MapReduce算法原理、使用壓縮分隔減少輸入規模、利用Combiner減少中間數據、編寫Partitioner優化負載均衡、如何自定義排序規則、如何自定義分組規則、Shuffle過程和原理、MapReduce提交過程和源碼分析、MapReduce 執行過程和源碼分析、MapReduce 本地debug和遠程debug、MapReduce優化

　　4、 分布式協調框架ZooKeeper：ZooKeepe基本概念和體系結構、ZooKeeper集群的安裝、操作ZooKeeper、ZooKeeper編程API

　　5、Hadoop2.x集群搭建：Hadoop2.x集群結構體系介紹、Hadoop2.x集群搭建、NameNode的高可用性(HA)、HDFS Federation、ResourceManager 的高可用性(HA)、Hadoop集群常見問題和解決方法、Hadoop集群管理

　　6、 分布式數據庫Hbase：HBase定義、HBase與RDBMS的對比、數據模型、系統架構、HBase上的MapReduce、表的設計、集群的搭建過程講解、集群的監控、集群的管理、HBase Shell以及演示、Java客戶端以及代碼演示

　　7、 數據倉庫Hive(使用sql進行計算的hadoop框架)：數據倉庫基礎知識、Hive定義、Hive體系結構簡介、Hive集群、客戶端簡介、HiveQL定義、HiveQL與SQL的比較、數據類型、外部表和分區表、表的操作與CLI客戶端演示、數據導入與CLI客戶端演示、查詢數據與CLI客戶端演示、數據的連接與CLI客戶端演示、用戶自定義函數(UDF)的開發與演示

　　8、 Pig(hadoop計算的另一種框架)：Pig概述、安裝Pig、Pig的語法和常用函數、Pig的自定義函數(UDF)開發

　　9、 數據遷移工具Sqoop：配置Sqoop、使用Sqoop把數據從mysql導入到HDFS中、使用Sqoop把數據從HDFS導出到mysql中

　　10、機器學習框架Mahout：機器學習的概念和使用場景、Mahout的安裝與測試、Mahout的解析聚類算法、解析分類算法、協同過濾算法等常用算法

　　11、Hadoop項目實戰：移動運營商流量分析系統、電影點評網站推薦系統

　　Storm

　　1、 Storm基礎知識：Storm的基本概念、Storm的應用場景、Storm和Hadoop的對比

　　2、 Storm集群的安裝：linux環境準備、zookeeper集群搭建、Storm集群搭建、Storm配置文件配置項講解、集群搭建常見問題解決

　　3、 Storm常用組件和編程API：Topology、 Spout、Bolt、Storm分組策略(stream groupings)、Storm項目maven環境搭建、使用Strom開發一個WordCount例子、Storm程序本地模式debug、Storm程序遠程debug、Storm事物處理、Storm消息可靠性及容錯原理

　　4、 Storm結合消息隊列Kafka：消息隊列基本概念(Producer、Consumer、Topic、Broker等)、消息隊列Kafka使用場景、Storm結合Kafka編程API

　　5、 Storm Trident：Trident概念、Trident state 原理、Trident開發實例

　　6、 Storm DPRC：Storm DRPC(分布式遠程調用)介紹、Storm DRPC實戰講解

　　7、 Storm和Hadoop 2.x的整合：Storm on Yarn

　　8、 Storm開發實戰：安全事件監控系統(Kafka+Storm+Hbase)、商品推薦系統(Kafka+Storm+Mahout+Hbase)

　　Spark 1、 Spark介紹：Spark應用場景、Spark和Hadoop MR、Storm的比較和優勢

　　2、 Scala編程語言快速上手(Spark是用Scala語言編寫的)：Scala語言與java語言的對比和優勢、Scala基礎、Scala面向對象編程、Scala函數式編程、Scala高級編程

　　3、 Spark概念和編程模型：RDD 、transformation、action、lineage等、Spark模型簡介、Spark緩存策略和容錯處理、寬依賴與窄依賴

　　4、 Spark集群部署：Spark配置講解、Spark集群搭建、集群搭建常見問題解決

　　5、 Spark原理：核心組件和常用RDD、數據本地性、任務調度、DAGScheduler、TaskScheduler、Task細節、廣播變量、累加器、性能調優

　　6、 Spark和Hadoop2.x整合：Spark on Yarn原理、JobServer配置與部署

　　7、 Spark Streaming：數據源和DStream、無狀態transformation與有狀態transformation、checkpoint和容錯、性能優化

　　8、Spark SQL和Shark：Shark數據模型和Shark數據類型、Shark的架構和部署、Shark與Spark結合、Spark SQL架構

　　9、Spark編程實戰：移動運營商流量分析系統

　　第二階段：虛擬化技術(CloudStack)(比openstack易用)

　　Cloudstack

　　1、虛擬化技術概覽和CloudStack介紹：虛擬化技術的發展歷程、虛擬化技術關鍵組成部分、常見虛擬化技術、常見存儲技術、Apache CloudStack歷史和基本功能、CloudStack各種專有術語、CloudStack的架構介紹

　　2、CloudStack的安裝：前期準備和要求(Linux環境準備、源代碼的獲取和編譯、創建yum庫)單節點CloudStack安裝、多節點CloudStack(集群)安裝(CloudStack配置介紹、安裝和配置CloudStack MySQL數據庫、配置CloudStack管理節點和工作節點)

　　3、CloudStack的配置和管理：CloudStack管理界面介紹、CloudStack全局配置和常用參數的調整、CloudStack的用戶管理、CloudStack的應用管理、CloudStack物理資源的管理、CloudStack虛擬資源的管理

　　4、CloudStack網絡管理：CloudStack網絡介紹(物理網絡、虛擬網絡、虛擬路由)、高級網絡技術(端口轉發、NAT地址轉換、VPN、負載均衡設置、VPC的基本設置)

　　5、CloudStack的存儲：主存儲配置和管理(系統要求和配置、添加主存儲)、二級存儲配置和管理(添加二級存儲、修改二級存儲IP地址、使用OpenStack Swift)、Volumes的配置和管理(volume的操作和維護)、Snapshots(快照)的配置和管理(快照的操作和維護、VM快照遷移)

　　6、CloudStack支持的Hypervisor：RedHat KVM(KVM的配置和實戰)、Citrix XenServer(介紹)、Oracle VM(介紹)、VMware vSphere(介紹)

　　7、CloudStack的高可靠性(HA)：CloudStack基礎平臺的高可靠性、CloudStack冗余虛擬路由、CloudStack存儲高可靠性(主存儲的高可靠性、二級存儲的高可靠性)、CloudStack高可靠管理(CloudStack高可靠管理器--Queue)、CloudStack上運行高可靠應用(CloudStack存儲遷移)、CloudStack的自動調整擴展(自動調整擴展策略、VM屬性的自動調整擴展、VM組的自動調整擴展)

　　8、CloudStack的擴展和性能調優：CloudStack的擴展(CloudStack整合Citrix NetScaler、CloudStack整合Nicira NVP、CloudStack整合OpenStack Swift存儲)、CloudStack優化(管理服務器內存調整、數據庫連接池調整、設置和監控主機的容量、資源使用率調整、)

　　9、CloudStack云平臺的云霧和常見問題及解決方法：CloudStack中的各種事件、日志管理方法、網絡和流量管理、系統監控及告警通知、各種常見問題的解決辦法

　　10、CloudStack上開發和部署應用：在CloudCloudStack開發一個PaaS應用、在CloudStack上部署Hadoop2.x集群