內容簡介
《大數據治理與服務》一書從大數據治理的基本概念和現狀出發,提出了大數據治理的框架及治理的關鍵要素,分析了大數據環境下企業面臨的挑戰、戰略轉型、組織職能分配等,介紹了大數據環境下的
數據質量、
數據安全特點和應對方案,以及基於數據生命周期的風險、特點和管理方案,最後給出了大數據治理實施的方法論和基於服務的大數據治理價值展現。
《大數據治理與服務》一書立足於大數據環境下的
數據治理,既有治理視角的
戰略價值、
風險合規,也有管理視角的數據資產、數據服務,書中還將模型與案例結合,條理清晰,易於讀者使用。
作者單位簡介
上海計算機軟體技術開發中心(簡稱:上海軟體中心)自2012年參與上海推進大數據研究與發展三年行動計畫(2013-2015年)以來,承擔了諸多國家及上海市在大數據領域的重大科研項目,對長三角大數據產業發展、大數據交易、大數據技術路線等開展研究,為上海市乃至長三角的大數據產業發展進行戰略布局。
上海軟體中心在國內數據治理的研究方面,圍繞數據治理相關的理論和實踐開展研究。並牽頭負責了國家《信息技術服務 治理》系列標準的研究,協同
中國電子技術標準化研究院和相關單位深入開展治理研究工作。2014年至2015年先後向
國際標準化組織ISO提交了數據治理的一系列研究成果。2015年同步推進了國際數據治理標準“ISO/IEC 38505”和國家數據治理標準“信息技術服務 治理 第5部分:數據治理規範”成功立項。
上海軟體中心在大數據領域的研究、套用以及標準研製的基礎上,聯合產學研用機構,通過與理論界和產業界專家進行深入研討,在不斷地學習研究、實踐分析過程中完成了《大數據治理與服務》一書,希望在日新月異的大數據發展中,使讀者能從另一個視角關注大數據的價值實現和服務創新。
序言
當前,隨著以網際網路、物聯網為代表的信息技術的不斷發展和套用,大數據如幽靈般來到了我們的身邊。與一個組織相關的日常經營活動、客戶/供應商等合作夥伴的行為和活動、消費者的行為軌跡和生活片段、外部自然環境、政治經濟環境等無時無刻不在被數位化、被記錄下來,形成了大量不斷堆積的“數據麵包屑”。這些“數據麵包屑”被收集、整理、分析、加工處理,其結果可能會無限接近真實的世界。正如徐宗本院士所說,“大數據是指反映真實世界的數據,其量已達到可以從一定程度上反映真實面貌的程度”。
展望大數據時代,數據必將成為除了人力、土地、財務、技術之外的另一種重要的資產。作為一種資產,企業利用大數據,可以更加敏銳地感知周邊的變化,更加深邃地洞察客戶/消費者以及合作夥伴們的行為和變化趨勢,更加精準地最佳化企業的運營,更加和諧地和商業夥伴一起開展協同創新。大數據正在重塑企業,重新定義行業,正成為跨界的驅動力。當然,大數據更大的商業價值尚未得到體現,有待更多的企業去挖掘,去發現。數據作為一種資產,需要與其他的資產相互組合、相互補充,或此消彼長,或相得益彰。企業需要對數據資產進行管理,直面以及由此帶來的數據治理這一重大課題。
半年以前,在一次有關大數據的行業論壇上,我提到了大數據治理的問題,當時就聽說作者團隊在編寫《大數據治理》這本書,我一直期待著看到這本書。今天拿到全書的樣稿,內心非常高興。首先,這本書是國內實踐者和學者在這個方面進行的第一次有意義的嘗試。這本書的作者團隊不但牽頭參與國內國際數據治理標準的研製,而且具有豐富的數據治理和大數據行業套用實踐經驗,融合了國內外在數據治理、IT治理、大數據套用等方面的最新實踐成果,從梳理最基本的概念開始,建立起一個自洽的大數據治理框架,並且從3個方面——大數據治理關鍵域、大數據治理的實施和監督、大數據服務,全面闡述了大數據治理需要關注的問題。
其次,本書對當前大數據治理中的一些關鍵的領域,如大數據組織、大數據架構、
大數據安全、大數據環境下的隱私保護、大數據合規管理、大數據質量管理、大數據服務管理等等均提出了作者們的看法。這些重大的問題,目前無論在理論上還是實踐中,均有待深入研究和探索。儘管如此,本書這部分內容從具體操作的層面給讀者帶來一些思考和啟示。
最後,整本書的邏輯結構合理,既包括了一般性的大數據治理工作的描述,也包括從項目實施層面討論大數據治理涉及到的實際問題,以及從大數據服務提交的角度闡述的重點問題。我相信這本書對於組織的高層管理人員,以及從事大數據治理的專業人員都具有一定的借鑑意義。也殷切的希望本書的作者團隊能夠再接再厲,在中國大數據治理的領域不斷探索,走出一條符合中國特色的大數據治理之路,幫助企業儘快地把散亂在各處的“數據麵包屑”加工成醇香可口、營養豐富的“數據麵包”真正從大數據中獲取最大的利益。
教育部電子商務教學指導委員會成員
黃麗華
圖書目錄
第1章 大數據治理概述
1.1 大數據治理相關概念
1.2 從數據治理到大數據治理
1.3 大數據治理的重要作用
第2章 大數據治理框架
2.1 框架概述
2.2 大數據治理的原則
2.3 大數據治理的範圍
2.4 大數據治理的實施與評估
第3章 大數據的戰略和組織
3.2 企業制定大數據戰略的要點
3.3 大數據戰略對組織的影響
3.4 典型大數據組織示例
第4章 大數據架構
4.1 大數據架構概述
4.2 大數據架構參考模型
4.3 大數據架構的實現
第5章 大數據安全、隱私和合規管理
5.1 大數據安全和隱私的問題與挑戰
5.2 大數據安全防護
5.4 大數據合規管理
第6章 大數據質量管理
6.1 大數據特性及其質量管理的複雜性
6.2 大數據質量的概念和維度
6.3 大數據質量管理參考框架
6.4 大數據質量項目實施方法
6.5 大數據質量管理常用方法和工具
第7章 大數據生命周期
7.1 概述
7.2 大數據範圍確定
7.3 大數據採集
7.4 大數據存儲
7.5 大數據整合
7.6 大數據呈現與使用
7.7 大數據分析與套用
7.8 大數據歸檔與銷毀
第8章 大數據治理實施
8.1 大數據治理實施的目標和動力
8.2 大數據治理實施過程
8.3 大數據治理實施路線圖
8.4 大數據治理實施的關鍵要素
8.5 大數據治理實施框架
第9章 大數據治理審計
9.1 大數據治理審計概述
9.2 大數據治理審計內容
9.3 大數據治理審計方法和技術
9.4 大數據治理審計流程
第10章 大數據服務
10.1 大數據的服務創新
10.2 大數據的服務內容
名人推薦
推薦這本書給大家我覺得是自己作為大數據行業一份子的責任。現在很多人都在談大數據,其中有傳統行業,有銀行,也有醫院。但我注意到大部分企業都在關注如何用數據進行創新,卻很少聽到大數據作為原材料應該怎么管理。你可能會說,銀行業、通訊業等不是早就在做數據管理了嗎?的確,數據管理並不新鮮,20年前就有人在做了。但大數據的含義不僅指數據的大小,還包括數據內容的廣泛來源、非結構性及實時連線性等等。大數據的定義其實在不斷更新中。我們不禁會問,以往的數據管理思路,能適應新形勢的需求嗎?我敢大膽的說自上而下的管理方法已經過時了。大數據的本質就是來自開放的力量、頻繁的數據更新、更豐富的數據種類、更快速的數據流動,但這些都對中央式的管理方式造成了極大的挑戰。我們必須意識到,數據治理不等同於數據管理,絕非僅依靠自上而下的貫徹執行便可解決。相反,數據治理需要每個人的參與和協同,要求大家都有意識去治理好數據,做到人人為我,我為人人。今天不把數據管好,日後對數據的依賴愈深,便愈容易出現問題。數據治理的新思路,不僅是指組織結構上要從由上而下變成全體協同,而且要在技術上創新,用數據去助力大數據治理,幫助大家提高數據質量、保護數據安全及有效控制數據成本。
最後我想說,大數據時代的數據治理,一定是將無線的管理策略化成有形的工作流程,從一紙命令變成根植在每個人心中的信念和下意識的習慣。我們要用大數據的思維方式,用數據治理數據。最後感謝作者對數據治理的堅持,這本書得來不易。
數據正在成為最基礎的戰略資源和重要資產被世界各國和經濟體所重視。對數據的獲取、占有、控制、分配和使用能力成為未來一個國家和地區經濟發展水平和社會階段的重要標誌。了解大數據、管理大數據、駕馭大數據,從《大數據治理與服務》開始吧。
不管人們承認與否,我們已經步入大數據時代。鋪天蓋地的數據迎面而來,讓我們眼花繚亂、一時手足無措。這是一個“知識超前、智慧滯後”的年代,我們應該正確認識並積極應對,早些補上滯後的智慧。歷史的經驗告訴我們,面對新時代的到來,約定便於溝通的新語系,形成確保質量的新標準,十分必要。學習了解數據治理的思想方法,能幫助我們在新時代少走曲折路,少花冤枉錢。《大數據治理和服務》一書為我們開啟了數據治理的大門,介紹了數據治理的若干話題,是很好的入門讀物。
大數據套用進入了廣泛而快速的發展階段,對經濟運行、社會發展和城市治理產生著深刻的影響。這種基於近乎全樣本並實時獲取的海量數據,正在不斷積累並形成了有著巨大價值的社會資產。如何發揮好這份新興資產的作用,需要從套用層面加快研究形成大數據治理的標準規範和服務指引,以促進大數據的健康發展。
大數據是雲計算支撐下最有價值的資產,從數據資產,數據管理,數據治理的基本概念到做好數據治理的關鍵要素是什麼,這本書也適合大學生學業補充,從基礎概念到項目實施,從治理到管理,到大數據的架構,大數據的服務和套用,尤其是數據質量一章,突出了大數據質量的特色,也給出了管理工具,有實踐意義。
——清華大學計算機系副系主任 馮建華
一個創意是否有價值,一個產品功能用戶是否喜歡要事實說話。數據就是事實。網際網路和計算機技術的發展讓快速蒐集和處理海量的數據成為現實。大數據讓決策科學,有效,和及時。在移動網際網路時代,沒有大數據,就好像盲人摸象。《大數據治理和服務》對大數據戰略,組織管理,技術和規範有很好的介紹。對一個組織如何變身成“數據驅動”很有幫助。
——微軟(亞洲)網際網路工程院副院長 方黎江
百年公司治理,網際網路時代遭遇新挑戰,感謝《大數據治理與服務》新思維新利器
——連城國際董事長 中國公司治理知名專家 產學研第一人 王中傑
大數據不僅成為雲計算之後的技術和產業熱點,而且對人們的工作生活方式、學習思考模式、科學研究範式產生越來越重大的改變和影響;同時伴隨而來的數據安全和隱私保護等問題層出不窮,這些問題與其帶來的巨大價值同樣引人關注。從治理的視角不僅能夠更好地發揮大數據的價值,也能夠全面構建大數據的安全防護體系。《大數據治理和服務》在這方面做了深入的闡述,從框架、範圍、架構、技術、合規、質量、生命周期等多個角度進行了說明分析,能為組織機構的大數據套用和安全防護提供很好的參考和指南。
——中國計算機學會大數據專家委員會常務委員 金波
大數據時代來臨,數據已成為企業重要資產,如何管好、用好大數據,使其發揮最大價值,《大數據治理與服務》系統地回答了這個問題,無論對理論研究,還是實踐操作,此書都值得一讀。
——國家開發銀行信息科技局局長 譚波
近年來,隨著信息化的不斷推進以及雲計算、數據挖掘技術和物聯網的廣泛套用,促使網際網路+技術興起,所有這些技術都是以多樣化的巨量數據為基礎實現的。數據不僅僅在我們的地球海量的匯集,更延伸到太空宇宙,在這樣的背景下如何看待大數據和套用大數據是我們面臨的重要課題。本書從大家數據的概念到數據的匯集、架構及如何套用,再從數據治理到數據安全,以及數據的生命周期內如何管理和利用等方面進行了較為深入的分析,並提出了自己的觀點和見解。本書可讀性及實用性強,從中可以看到作者試圖利用自己的經驗和對大數據探索的思路引導大家共同研究。在此誠心的祝願本書發行成功。
大數據蘊含豐富的價值,已經成為社會治理和經濟發展的重要戰略資源。大數據治理和服務的研究有利於推動大數據在各行各業的發展和套用。加強大數據治理,創新大數據服務將促進大數據更安全更有效地發揮價值。
——中國華融資產管理股份有限公司信息科技部總經理 陳忠德
不言而喻,我們正生活在資訊時代,各種信息充斥在我們的周圍,人們已不再缺乏廣泛的信息,而越來越需要有價值的信息。大數據技術的應運而生,為我們獲取有效的信息開啟了新的航帆。該書圍繞上述理念,全面闡述了利用大數據技術獲取有效信息的理論與實踐。完整提出了大數據治理的概念、框架、機制以及大數據服務所涉及的各個環節,既有廣度,又有深度。同時,該書的亮點還在於從管理學和數據治理的角度給予大數據技術以完整的論述和詮釋,這與市場上單純描述大數據技術的書有本質上的區別,對於企業和機構,特別是大企業的信息管理和大數據運用有著重要的指導意義。
《大數據治理與服務》一書通過梳理大數據套用的相關概念,由淺入深地為讀者拉開了大數據治理的神秘面紗,提供了開展大數據套用的方法。該書系統地描述了大數據治理應堅持的原則和框架體系建設等內容,對讀者開展大數據套用前期規劃與頂層設計,以及規範套用大數據、創造價值具有很好的學習參考作用。
信息科技從IT向DT發展過程中,數據已經成為基礎性戰略性資源和新一輪科技產業革命的重要生產力,而如何對數據進行有效的管理和套用將從《大數據治理和服務》中獲得啟發、形成思路、得到答案,本書由淺入深的從數據實際套用出發,圍繞數據的組織、管理、安全、質量、審計以及服務等領域進行了系統性闡述,對大數據從業人員具備重要的指導作用!
——中國電信上海理想信息集團總經理 陸晉軍
本書是一套集最佳實踐的系統化大數據治理工具,不但從治理層,也從管理層,技術層面給予了相應指導,提供了全面數據治理和項目型單一目標數據治理的方法論。要成為大數據的優質保管倉庫和處理中心,數據中心面臨諸多挑戰,比如根據數據的不同熱度採取不同的存儲技術,提高業務訪問處理效率;比如如何在大數據環境下保護客戶的個人隱私等等;同時,將大數據運用於數據中心管理,也為管好數據中心,提供了前所未有的機遇。
——招商銀行股份有限公司數據中心總經理 高旭磊
P2P 依靠傳統線下信貸方式經營成本高,難以規模化,依靠線上行為痕跡,徵信大數據可以大大提高風險管理的有效性,而如何建立一套反欺詐體系,風控指標,這些風險數據的採集、監控標準化都離不開風險導向的數據治理體系的建設。
——東方邦信金融科技有限公司董事長 孫洋