云計(jì)算與大數(shù)據(jù)技術(shù)：微課版 作者：于長(zhǎng)青 出版時(shí)間：2023年版 內(nèi)容簡(jiǎn)介 本書(shū)重點(diǎn)闡述云計(jì)算與大數(shù)據(jù)的基本原理、關(guān)鍵技術(shù)、常用平臺(tái)和應(yīng)用案例。本書(shū)共8章，包括云計(jì)算和大數(shù)據(jù)基礎(chǔ)、云計(jì)算架構(gòu)、虛擬化技術(shù)、云計(jì)算技術(shù)、大數(shù)據(jù)技術(shù)架構(gòu)、大數(shù)據(jù)技術(shù)、云計(jì)算與大數(shù)據(jù)應(yīng)用、綜合實(shí)踐等。 本書(shū)配有PPT課件、教學(xué)大綱、教學(xué)計(jì)劃、電子教案、課后習(xí)題答案、模擬試卷及答案、實(shí)驗(yàn)指導(dǎo)書(shū)、實(shí)驗(yàn)虛擬機(jī)，使用本書(shū)的老師可在人郵教育社區(qū)免費(fèi)下載使用。 本書(shū)可作為高等院校數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)、計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、大數(shù)據(jù)管理與應(yīng)用等專業(yè)學(xué)生的教材，還可供IT領(lǐng)域的技術(shù)人員學(xué)習(xí)使用，同時(shí)可作為云計(jì)算與大數(shù)據(jù)研究人員的參考書(shū)。 目錄 第 1章 云計(jì)算和大數(shù)據(jù)基礎(chǔ)1 【本章知識(shí)結(jié)構(gòu)圖】1 【本章學(xué)習(xí)目標(biāo)】1 1.1 云計(jì)算概述1 1.1.1 云計(jì)算發(fā)展歷程2 1.1.2 云計(jì)算基本概念3 1.1.3 云計(jì)算基本特征4 1.1.4 云計(jì)算關(guān)鍵技術(shù)4 1.2 大數(shù)據(jù)技術(shù)概述8 1.2.1 大數(shù)據(jù)發(fā)展歷程8 1.2.2 大數(shù)據(jù)基本概念9 1.2.3 大數(shù)據(jù)基本特征10 1.2.4 大數(shù)據(jù)關(guān)鍵技術(shù)11 1.3 云計(jì)算、大數(shù)據(jù)與其他技術(shù)的關(guān)系13 習(xí)題14 第 2章 云計(jì)算架構(gòu)16 【本章知識(shí)結(jié)構(gòu)圖】16 【本章學(xué)習(xí)目標(biāo)】17 2.1 云計(jì)算架構(gòu)概述17 2.2 云計(jì)算架構(gòu)設(shè)計(jì)與部署18 2.2.1 通用架構(gòu)設(shè)計(jì)與部署18 2.2.2 高可用性架構(gòu)設(shè)計(jì)與部署19 2.2.3 高性能架構(gòu)設(shè)計(jì)與部署21 2.2.4 容災(zāi)架構(gòu)設(shè)計(jì)與部署22 2.2.5 云安全架構(gòu)設(shè)計(jì)與部署23 2.2.6 云桌面架構(gòu)設(shè)計(jì)與部署26 2.3 云計(jì)算架構(gòu)優(yōu)化27 2.3.1 云計(jì)算架構(gòu)優(yōu)化概念27 2.3.2 云計(jì)算架構(gòu)優(yōu)化案例27 2.4 幾種典型的云計(jì)算架構(gòu)29 2.4.1 谷歌云計(jì)算架構(gòu)30 2.4.2 阿里云計(jì)算架構(gòu)30 2.4.3 騰訊云計(jì)算架構(gòu)32 2.4.4 華為云計(jì)算架構(gòu)33 2.5 實(shí)踐：騰訊云部署Web應(yīng)用35 2.5.1 概述35 2.5.2 基礎(chǔ)環(huán)境36 2.5.3 實(shí)踐條件36 2.5.4 實(shí)踐流程36 習(xí)題39 第3章 虛擬化技術(shù)41 【本章知識(shí)結(jié)構(gòu)圖】41 【本章學(xué)習(xí)目標(biāo)】41 3.1 虛擬化概述42 3.1.1 虛擬化發(fā)展歷程42 3.1.2 虛擬化的幾個(gè)重要概念42 3.1.3 虛擬化的主要特性44 3.1.4 虛擬化常見(jiàn)的架構(gòu)類型44 3.2 虛擬化的關(guān)鍵技術(shù)47 3.2.1 CPU虛擬化47 3.2.2 存儲(chǔ)虛擬化49 3.2.3 網(wǎng)絡(luò)虛擬化51 3.2.4 服務(wù)器虛擬化54 3.2.5 虛擬桌面54 3.2.6 應(yīng)用程序虛擬化55 3.3 幾種典型的虛擬化軟件56 3.3.1 KVM57 3.3.2 Xen57 3.3.3 VMware ESXi58 3.3.4 Microsoft Hyper-V58 3.4 實(shí)踐：輕量級(jí)虛擬化——Docker容器實(shí)戰(zhàn)58 3.4.1 Docker簡(jiǎn)述58 3.4.2 Docker案例59 習(xí)題61 第4章 云計(jì)算技術(shù)64 【本章知識(shí)結(jié)構(gòu)圖】64 【本章學(xué)習(xí)目標(biāo)】65 4.1 云計(jì)算技術(shù)概述65 4.2 分布式存儲(chǔ)技術(shù)66 4.2.1 GFS66 4.2.2 Swift68 4.2.3 Ceph71 4.2.4 Lustre75 4.2.5 主流分布式存儲(chǔ)技術(shù)的比較76 4.3 云計(jì)算網(wǎng)絡(luò)76 4.3.1 數(shù)據(jù)中心網(wǎng)絡(luò)77 4.3.2 軟件定義網(wǎng)絡(luò)77 4.3.3 租戶網(wǎng)絡(luò)管理81 4.4 云計(jì)算安全82 4.4.1 云安全風(fēng)險(xiǎn)82 4.4.2 云計(jì)算安全技術(shù)82 4.5 云操作系統(tǒng)85 4.5.1 云操作系統(tǒng)基本概念85 4.5.2 云操作系統(tǒng)管理平臺(tái)功能85 4.5.3 云操作系統(tǒng)資源調(diào)度86 4.5.4 云操作系統(tǒng)實(shí)例87 4.6 云開(kāi)發(fā)87 4.6.1 云開(kāi)發(fā)與傳統(tǒng)開(kāi)發(fā)87 4.6.2 一站式后端Serverless服務(wù)88 4.6.3 應(yīng)用場(chǎng)景88 4.7 云計(jì)算運(yùn)維89 4.8 實(shí)踐89 4.8.1 使用OpenStack搭建云計(jì)算管理平臺(tái)89 4.8.2 云開(kāi)發(fā)實(shí)踐91 習(xí)題91 第5章 大數(shù)據(jù)技術(shù)架構(gòu)93 【本章知識(shí)結(jié)構(gòu)圖】93 【本章學(xué)習(xí)目標(biāo)】94 5.1 大數(shù)據(jù)技術(shù)架構(gòu)概述94 5.1.1 大數(shù)據(jù)技術(shù)參考模型94 5.1.2 大數(shù)據(jù)技術(shù)處理平臺(tái)95 5.2 大數(shù)據(jù)技術(shù)架構(gòu)設(shè)計(jì)97 5.2.1 Lambda架構(gòu)97 5.2.2 Kappa架構(gòu)98 5.2.3 IOTA架構(gòu)99 5.3 Hadoop生態(tài)架構(gòu)101 5.3.1 Hadoop基本概念101 5.3.2 Hadoop生態(tài)系統(tǒng)101 5.3.3 Hadoop生態(tài)架構(gòu)特點(diǎn)103 5.3.4 Hadoop生態(tài)架構(gòu)缺點(diǎn)103 5.4 Spark生態(tài)架構(gòu)103 5.4.1 Spark基本概念103 5.4.2 Spark生態(tài)系統(tǒng)104 5.4.3 Spark基本流程105 5.4.4 Spark適用場(chǎng)景106 5.4.5 Spark與Hadoop的區(qū)別106 5.5 Flink生態(tài)架構(gòu)106 5.5.1 Flink基本概念106 5.5.2 Flink架構(gòu)體系107 5.5.3 Flink架構(gòu)特性108 5.5.4 流處理應(yīng)用的基本組件108 5.5.5 Flink API109 5.5.6 Flink擴(kuò)展庫(kù)110 5.5.7 Flink基礎(chǔ)編程模型111 5.5.8 Flink作業(yè)執(zhí)行過(guò)程112 5.5.9 Flink應(yīng)用場(chǎng)景112 5.5.10 Flink和Spark Streaming的區(qū)別113 5.6 實(shí)踐：Hadoop安裝與配置114 5.6.1 Hadoop基礎(chǔ)環(huán)境配置114 5.6.2 Hadoop配置114 5.6.3 格式化文件系統(tǒng)116 5.6.4 啟動(dòng)和驗(yàn)證Hadoop116 5.6.5 Hadoop Web管理工具116 習(xí)題117 第6章 大數(shù)據(jù)技術(shù)119 【本章知識(shí)結(jié)構(gòu)圖】119 【本章學(xué)習(xí)目標(biāo)】120 6.1 大數(shù)據(jù)處理過(guò)程120 6.2 大數(shù)據(jù)采集與預(yù)處理120 6.2.1 大數(shù)據(jù)采集概述121 6.2.2 數(shù)據(jù)采集121 6.2.3 數(shù)據(jù)預(yù)處理122 6.3 大數(shù)據(jù)存儲(chǔ)技術(shù)123 6.3.1 HDFS123 6.3.2 NoSQL數(shù)據(jù)庫(kù)125 6.4 大數(shù)據(jù)計(jì)算技術(shù)128 6.4.1 批處理計(jì)算128 6.4.2 流計(jì)算130 6.4.3 查詢分析計(jì)算131 6.4.4 圖計(jì)算133 6.5 數(shù)據(jù)挖掘與可視化分析133 6.5.1 數(shù)據(jù)挖掘133 6.5.2 可視化分析134 6.6 實(shí)踐：某招聘網(wǎng)站信息抓取可視化分析135 6.6.1 爬蟲(chóng)概述135 6.6.2 基本數(shù)據(jù)概述136 6.6.3 模塊及庫(kù)文件137 6.6.4 數(shù)據(jù)爬取137 6.6.5 利用pyecharts進(jìn)行數(shù)據(jù)可視化142 習(xí)題146 第7章 云計(jì)算與大數(shù)據(jù)應(yīng)用148 【本章知識(shí)結(jié)構(gòu)圖】148 【本章學(xué)習(xí)目標(biāo)】148 7.1 云計(jì)算與大數(shù)據(jù)在數(shù)字政府中的應(yīng)用149 7.1.1 城市智能運(yùn)行中心149 7.1.2 社會(huì)治理150 7.1.3 互聯(lián)網(wǎng)+監(jiān)管152 7.2 云計(jì)算與大數(shù)據(jù)在工業(yè)領(lǐng)域中的應(yīng)用153 7.2.1 工業(yè)互聯(lián)網(wǎng)153 7.2.2 生產(chǎn)過(guò)程優(yōu)化154 7.2.3 工業(yè)數(shù)字孿生155 7.3 云計(jì)算與大數(shù)據(jù)在醫(yī)療健康中的應(yīng)用157 7.3.1 數(shù)字化醫(yī)院157 7.3.2 醫(yī)藥云158 7.3.3 基因測(cè)序160 7.4 云計(jì)算與大數(shù)據(jù)在教育行業(yè)中的應(yīng)用161 7.4.1 智慧校園161 7.4.2 科研云163 7.4.3 智慧教學(xué)164 7.5 云計(jì)算與大數(shù)據(jù)在金融領(lǐng)域中的應(yīng)用165 7.5.1 互聯(lián)網(wǎng)銀行166 7.5.2 證券智能營(yíng)銷167 7.5.3 保險(xiǎn)168 習(xí)題169 第8章 綜合實(shí)踐：搭建云平臺(tái)并進(jìn)行大數(shù)據(jù)處理分析171 【本章知識(shí)結(jié)構(gòu)圖】171 【本章學(xué)習(xí)目標(biāo)】172 8.1 案例介紹172 8.2 搭建云平臺(tái)172 8.2.1 OpenStack概述172 8.2.2 OpenStack基礎(chǔ)環(huán)境174 8.2.3 安裝和部署Keystone身份服務(wù)178 8.2.4 安裝和部署Glance鏡像服務(wù)180 8.2.5 安裝和部署Placement放置服務(wù)182 8.2.6 安裝和部署Nova計(jì)算服務(wù)183 8.2.7 安裝和部署Neutron網(wǎng)絡(luò)服務(wù)186 8.2.8 安裝和部署Horizon儀表板193 8.2.9 創(chuàng)建和操作虛擬機(jī)實(shí)例195 8.3 搭建大數(shù)據(jù)平臺(tái)196 8.3.1 數(shù)據(jù)倉(cāng)庫(kù)196 8.3.2 安裝Hive197 8.3.3 安裝Spark197 8.3.4 安裝Zeppelin198 8.3.5 安裝Sqoop198 8.3.6 安裝Flume199 8.4 大數(shù)據(jù)采集與預(yù)處理199 8.4.1 數(shù)據(jù)采集199 8.4.2 數(shù)據(jù)預(yù)處理200 8.5 大數(shù)據(jù)實(shí)時(shí)分析200 8.5.1 訂單指標(biāo)分析——訂單總數(shù)量201 8.5.2 訂單指標(biāo)分析——預(yù)約訂單非預(yù)約訂單占比201 8.5.3 訂單指標(biāo)分析——不同時(shí)段訂單占比202 8.5.4 訂單指標(biāo)分析——不同地域訂單占比202 8.5.5 訂單指標(biāo)分析——不同年齡段時(shí)段訂單占比203 8.6 用戶行為可視化204 習(xí)題206 參考文獻(xiàn)208