大數據工程技術人員——大數據基礎技術

《大數據工程技術人員——大數據基礎技術》是一本2021年中國人事出版社出版的圖書，作者是人力資源社會保障部專業技術人員管理司。

基本介紹

• 中文名：大數據工程技術人員——大數據基礎技術
• 作者：人力資源社會保障部專業技術人員管理司
• 出版時間：2021年12月
• 出版社：中國人事出版社
• ISBN：9787512910195
• 裝幀：平裝-膠訂

內容簡介

一、選題背景習近平總書記在十九屆中共中央政治局第二次集體學習時的重要講話中指出：“大數據是信息化發展的新階段”，並做出了“推動大數據技術產業創新發展、構建以數據為關鍵要素的數字經濟、運用大數據提升國家治理現代化水平、運用大數據促進保障和改善民生、切實保障國家數據安全”的戰略部署，為我國構築大數據時代國家綜合競爭新優勢指明了方向。2019年，人力資源社會保障部、市場監管總局和統計局聯合下發了《人力資源社會保障部辦公廳 市場監管總局辦公廳 統計局辦公室關於發布人工智慧工程技術人員等職業信息的通知》（人社廳發〔2019〕48號），正式將大數據工程技術人員列為新職業。落實《專業技術人員繼續教育規定》（人力資源社會保障部令第25號）的要求，為進一步加強大數據工程技術人員隊伍建設，開展全國範圍內的人員培訓，人力資源社會保障部委託中國機械工程學會組織有關專家，制定了《大數據工程技術人員國家職業標準》，並組織開展《大數據工程技術人員培訓教程》（以下簡稱“《教程》”）的編寫工作。二、指導思想與開發原則《教程》開發工作是落實國家專業技術類新職業開發重要部署，服務和保障大數據工程技術人員隊伍快速穩步發展的必要舉措，是開展培訓工作的重要基礎和有力支撐，是大數據工程技術人員繼續教育工作的重要抓手。《教程》根據職業標準與培訓大綱編寫，充分體現大數據行業特色，是對初、中、高不同專業等級人員實施培訓的內容載體，是培訓考核命題的基礎素材，也將作為專業水平考核評價的重要參考。《教程》開發工作堅持以下原則：（一）科學性。充分考慮大數據技術發展現狀和趨勢，注重大數據工程技術人員知識要求的基礎性，尊重客觀規律、循序漸進，體現大數據工程技術人員學習特點、知識發展要求和能力發展特點。（二）針對性。根據不同專業等級大數據工程技術人員崗位職責與能力要求，圍繞大數據工程技術人員應當具備的基礎知識，以及大數據處理與套用，大數據分析與挖掘和大數據管理等方面的專業知識，有針對性地安排內容。（三）系統性。《教程》的編寫體現大數據多學科交叉的特點，考慮基礎知識與專業知識之間的關係，在目標、要求、內容等方面形成一個完整的系統。（四）實用性。充分考慮到教材的實際套用價值，為在全國範圍內迅速推開大數據工程技術人員培訓，以及開展專業能力水平評價的有關探索，進而與工程師職稱制度銜接等，提供支撐和幫助。 1.《大數據工程技術人員培訓教程——大數據基礎技術（初級）》本書對應《大數據工程技術人員國家職業技術技能標準》“大數據系統搭建”、“大數據平台管理與運維”和“大數據技術服務”部分，是相關從業者職業培訓以及專業技術考核的推薦輔導用書。主要內容包括：大數據硬體系統搭建與套用、大數據伺服器系統搭建與套用、大數據存儲系統搭建與套用、大數據作業開發系統搭建與套用等。

圖書目錄

第一章　大數據硬體系統搭建與套用………………001

第一節　大數據機房設備的認識……………………003

第二節　伺服器配置…………………………………015

第三節　網路配置……………………………………025

第二章　大數據伺服器系統搭建與套用……………041

節　系統安裝與調試……………………………043

第二節　系統依賴環境管理…………………………049

第三節　系統資源監控………………………………057

第三章　大數據存儲系統搭建與套用………………065

節　檔案系統部署與套用………………………067

第二節　資料庫部署與套用…………………………085

第三節　Hive數據倉庫部署與套用…………………105

第四節　Hive數據倉庫管理與運維…………………116

第四章　大數據作業開發系統搭建與套用…………125

節　作業計算系統搭建…………………………127

第二節　作業資源管理與套用………………………153

第三節　作業開發平台部署與套用…………………166

第四節　作業調度系統部署與套用…………………172

第五章　大數據傳輸系統搭建與套用………………187

節　離線數據採集系統搭建與套用……………189

第二節　實時數據採集系統搭建與套用……………204

第六章　大數據查詢系統搭建與套用………………225

節　ROLAP系統搭建與套用……………………227

第二節　MOLAP系統搭建與套用……………………239

第三節　實時OLAP系統搭建與套用…………………252

第四節　數據檢索系統搭建與套用…………………267

第七章　大數據安全系統搭建與套用………………283

節　用戶驗證系統配置與套用…………………285

第二節　數據訪問許可權管理…………………………306

第三節　大數據平台安全與風險……………………317

參考文獻………………………………………………331

後記……………………………………………………333

作者簡介

編寫委員會負責《教程》內容編寫、修訂等工作。成員包括國家相關部委專家、長期從事大數據理論研究和教學工作的高校及科研機構核心專家、企業核心技術專家等。主要編寫成員為張正球、吳子穎、張笑欽、黃長城、汪文帥等。張正球，男，碩士，英國Ulster大學訪問學者，從事計算機視覺、大數據、信息安全等方面研究與教學工作；作為項目核心成員參與2項自然科學基金，主持3個省級科技項目並獲得省科技進步獎，參與若干項省級自然科學基金項目、教育廳科技項目等；先後在核心刊物發表論文20餘篇學術論文，曾作為主編參與《大數據分析與可視化》、《物聯網嵌入式技術》教材開發，組織團隊編寫教材10餘本，其中規劃教材6本，參與多項教學改革項目，並作為核心成員獲得省級教學成果獎。吳子穎，男，新大陸教育公司大數據教研經理，從事大數據技術行業多年，掌握大數據主流技術Hadoop、Spark、HBase、Hive及多種程式語言如Java、Python、Scala、R，精通數據採集、網路爬蟲、數據預處理、數據計算、數據分析、數據挖掘等多個技術領域和批流數據處理架構；主導新大陸教育大數據產品架構及數據系統設計；作為主編參與《大數據綜合實戰案例教程》、《Spark批處理技術與套用》、《大數據可視化套用技術》等教材；參與福建省教育科學“十三五”規劃2019年度課題，全國職業教育教師企業實踐基地“產教融合”專項課題。張笑欽，男，博士，教授，博士生導師，德國洪堡學者、國家優秀青年基金獲得者，現任溫州大學計算機與人工智慧學院院長，科技部高新司現代服務業處專家組成員，中國圖象圖形學學會視覺大數據專委會委員，中國自動化學會混合智慧型專委會委員。汪文帥，男，博士，副教授，碩士生導師，寧夏大學數學統計學院院長，兼任中國數學會理事，第二屆中國智慧型物聯繫統建模與仿真專業委員會委員，中國通信學會委員，寧夏科普作家協會副理事長。黃長城，男，教授，溫州大學數據科學與大數據技術專業負責人，碩士生導師，溫州市計算機學會秘書長、商業企業雲供應鏈公共服務平台主任；負責和參與多個國家和浙江省重大研發項目；曾經在深圳香港等地從事計算機系統工程項目和網際網路技術研發工作十幾年，目前主要從事面向工業大數據平台相關技術研究和套用工作。