大數據研修

ss淡淡

大數據建模、分析、挖掘技術應用研修

時間

2022年8月5日 — 2022年8月9日  北京（同時轉線上直播）

（5日報到，6日-9日上課）

目標

1.掌握大數據建模分析與使用方法。

2.掌握大數據平臺技術架構。

3.掌握國內外主流的大數據分析與BI商業(yè)智能分析解決方案。

4.掌握大數據分析在搜索引擎、廣告服務推薦、電商數據分析、金融客戶分析方面的應用。

5.掌握主流的基于大數據Hadoop和Spark、R的大數據分析平臺架構和實際應用。

6.掌握基于Hadoop大數據平臺的數據挖掘和數據倉庫分布式系統平臺應用，以及商業(yè)和開源的數據分析產品加上Hadoop平臺形成大數據分析平臺的應用剖析。

7.掌握常見的機器學習算法。

一、大數據概述

1.大數據及特點分析

2.大數據關健技術

3.大數據計算模式

4.大數據應用實例

二、大數據處理架構Hadoop

1.Hadoop項目結構

2.Hadoop安裝與使用

3.Hadoop集群的部署與使用

4.Hadoop 代表性組件

1.Hadoop Single Node Cluster

2. Hadoop Multi Node Cluster

三、分布式文件系統HDFS

1.HDFS體系結構

2.HDFS存儲

3.HDFS數據讀寫過程

1.創(chuàng)建與查看HDFS目錄

2.從本地計算復制文件到HDFS

3.將HDFS文件復制到本地計算機

4.復制與刪除HDFS文件

5.Hadoop HDFS Web瀏覽HDFS

四、分布式數據庫HBase

1.HBase訪問接口

2.HBase數據類型

3.HBase實現原理

4.HBase運行機制

5.HBase應用

五、MapReduce

1.MapReduce體系結構

2.MapReduce工作流程

3.資源管理調度框架YARN

4.MapReduce應用

六、Spark

1.Spark生態(tài)與運行架構

2.Spark SQL

3.Spark部署與應用方式

1.Python Spark 安裝

2.本地運行pyspark程序

3.在Hadoop YARN 運行pyspark

4.Spark Web UI

七、IPython Notebook運行Python Spark程序

1.Anaconda

2.IPython Notebook使用Spark

3.使用IPython Notebook在Hadoop YARN模式運行

1.在不同模式運行IPython Notebook運行Python Spark命令

2.Python 程序開發(fā)

八、Python Spark集成開發(fā)環(huán)境

1.Python Spark集成開發(fā)環(huán)境部署配置

2.Spark數據分析庫MLlib的開發(fā)部署

Spark MLlib應用程序示例

九、Python Spark決策樹二分類與多分類

1.決策樹原理

2.大數據問題

3.決策樹二分類

4.決策樹多分類

1.搜集數據

2.數據準備：導入并轉換數據、提取特征字段、提取標簽

3. Python Spark建模，訓練模型

4.預測數據

5.評估數據，給出評價指標并得到評估結果

十、Python Spark支持向量機

1.支持向量機SVM 原理與算法

2.Python Spark SVM程序設計

1.數據準備

2.建立SVM模型，訓練模型

3.評估參數并找出最優(yōu)參數

4.根據模型進行預測

十一、Python Spark 貝葉斯模型

1.樸素貝葉斯模型原理

2.Python Spark貝葉斯模型程序設計

1.建模貝葉斯模型，并進行對參數估計

2.訓練模型，得到最優(yōu)參數

3.根據模型進行預測

十二、Python Spark邏輯回歸

1.邏輯回歸原理

2.Python Spark邏輯回歸程序設計

1.Python Spark邏輯回歸建模

2.根據模型進行分類

十三、Python Spark回歸分析

1.大數據分析

2.數據集介紹

3.Python Spark回歸程序設計

1.數據準備

2.訓練回歸模型

3.建立評估指標

4.訓練回歸模型，并找到最優(yōu)參數

5.根據模型進行預測

十四、Spark ML Pipeline 機器學習流程分類

1.機器學習流程組件：StringIndexer、OneHotEncoder、VectorAssembler等

2.使用Spark ML Pipeline 機器學習流程分類程序設計

1.數據準備

2.建立機器學習Pipeline流程

3.使用Pipeline流程訓練

4.使用PipelineModel預測

5.評估模型準備率

十五、Python Spark 創(chuàng)建推薦引擎

1.推薦算法

2.推薦引擎大數據分析使用場景

3.推薦引擎設計

1.搜索數據

2.準備數據

3.訓練模型

4.使用模型進行推薦

十六、項目實踐

1.日志分析系統與日志挖掘項目實踐

a、Hadoop，Spark，ELK技術構建日志數據倉庫

b、互聯網微博日志分析系統項目

1.推薦系統項目實踐

a、電影數據分析與個性化推薦關聯分析項目

ss淡淡

郭老師 195--1112--2152（V）
G:人工智能技術與咨詢