多維數據分析是以資料庫或數據倉庫為基礎的,其最終數據來自底層的資料庫系統,多維數據分析更適合以數據倉庫為基礎的數據分析處理。這裡結合生產領域中重要效率評價指標 OEE,研究如何用多維的思路和方法來分析。
基本介紹
- 中文名:多維數據分析系統
- 外文名:Multidimensional Data Analysis System
- 英文簡寫:MDDAS
- 數據來源:資料庫系統
- 套用:以數據倉庫為基礎的數據分析處理
- 領域:計算機
概述,對海量 OEE數據進行多維處理的必要性,OEE基本計算方法,海量生產數據分析中存在的問題,多維數據處理對 OEE分析的基本思路,OEE多維數據分析系統設計思想,OEE多維數據分析系統的基本結構,數據空間體系結構,OEE分析系統的多維數據處理流程,
概述
20世紀90年代後,隨著全員生產維護的開展,設備綜合效率(Overall Equipment Effectiveness,OEE)作為全員生產維護衡量設備效能的標準得到廣泛套用,並取得顯著成效。目前,Factorytalk、OEE、Toolkit等OEE分析軟體已經被廣泛使用,另外在國內外的各種MES系統中也相應引入了OEE分析模組。
然而,不管是OEE分析專用軟體還是帶有OEE分析模組的 MES,都存在如下弊端:1)費用高昂;2)開發要求較高;3)在使用中會存在一定問題。 另外用常規通用的統計分析軟體,雖然可以降低成本,但是對於海量的OEE數據,要高效準確得出結果卻存在很大的難度。
另外在當前的數據分析領域中,多維數據分析作為一項新興技術,受到廣泛重視。利用多維數據分析以OLAP(在線上分析處理)作為平台,並且延伸到數據挖掘領域的綜合分析數據系統,在人口信息、石油生產、醫院信息等多個方面的數據分析都起到了積極作用。然而,針對生產領域中具體對於OEE的數據分析上,還鮮見多維數據分套用的實例。
在結合現有OEE分析系統特點的基礎和基於多維數據分析的基本思想,本文提出了一種開發更簡單 、使用更便捷的基於 OEE 的多維數據分析系統。
對海量 OEE數據進行多維處理的必要性
OEE基本計算方法
OEE是用來說明實際的生產能力與理論產能的比例,它準確地告訴管理者:設備的效率如何,在生產的哪個環節有多少損失,以及可以進行哪些有針對性的改善工作。
OEE的計算公式為:OEE = 時間開動率×性能開動率×合格品率×100%。
其中,時間開動率=實際工作時間 /計畫工作時間;性能開動率 =理想周期時間 / (工作時間 /總產量 ) = (總產量 /工作時間 ) /生產速率;合格品率 =合格品 /總產量。
海量生產數據分析中存在的問題
企業在生產運營活動中會產生大量數據,可以對企業的生產活動提供有效的指導信息,然而這些數據在一定程度上也會對其自身的分析造成難度。對於包含大量信息的數據,用常規方法通常不能取得理想的效果。 大量數據對其自身分析的阻礙作用。主要在以下3個方面。
1)生產在時間序列上產生的大量數據需要處理的時間長。
2)多種數據產生的大量信息在多個方面用常規方法分析的靈活性不理想。
3)生產系統中不確定因素的負面影響。
多維數據處理對 OEE分析的基本思路
多維數據處理方法基本思路:多維數據分析是對數據進行分析的新方法 。該方法對數據從多個角度即多個維度進行觀察和分析,多維的分析操作是指通過對多維形式組織起來的數據進行切片 、切塊、聚合、鑽取 、旋轉等分析操作,以求剖析數據,使用戶能夠從多種維度、多個側面 、多種數據綜合度查看數據,從而深入地了解包在數據中的信息和內涵。
針對生產數據的多維處理方法:對生產中總量大、信息維度多的各種數據而言,用多維數據處理的思想進行分析和整理有助於提高分析的效率和質量。
在生產記錄數據表單中,包含了多種類型的數據,這類數據可以歸結為:時間數據、產品數據、生產組織數據、工藝數據 、生產信息數據以及衍生數據這6個大類,其中前 5個數據是報表中包含的數據,而衍生數據是已有數據在經過計算後所得出的數據。
根據這六大類數據,可以把報表中數據劃分為 6個維度,在各個維度的基礎上,根據實際記錄數據再劃分為不同層次上的子維度。
在維度劃分和層次劃分的基礎上可以就數據進行多維度及多層次子維度的分析,根據多維數據分析的基本思想和對 OEE數據分析的基本要求,對操作進行如下定義。
1)切割:切割是對傳統多維數據中切塊和切片的整合操作,在對 OEE進行數據分析中,選取包含OEE信息子維度的數據和其他維度上數據進行分析。其中選取的數據必然至少在 2個或 2個以上子維度數目,更多的是在3個或3個以上。
2)鑽取:鑽取操作主要套用在輸出上,分為上鑽和下鑽。當切割完成並輸出分析數據後,需要對數據再在巨觀分析,就採取上鑽的方式,即由下到上地進行匯總整理。 而下鑽就正好相反,是在細節上對數據進行分析。
3)旋轉:旋轉是在選取的維度上,改變其位置,讓在輸出過程中,在不同角度上對數據進行分析。
OEE多維數據分析系統設計思想
OEE多維數據分析系統的基本結構
在 OEE多維數據分析系統中,分為 2個基本結構:一個是數據空間體系;另外一個是處理流程體系。
對數據空間體系而言,當數據從系統外部輸入後,就保存在數據空間體系中。 在需要的時候,數據在空間體系中被調用,並且數據空間體系為調用的數據提供儲存和計算的場所,數據從輸入到輸出都是在數據空間體系中進行的。數據輸出是把所需數據在處理後由數據空間體系輸出到系統外部 。
對處理流程體系而言,所有數據處理的操作規則都在其內部定義。 在處理流程體系中,規定了對數據如何輸入、如何分析、如何輸出的規則 。 對 OEE分析系統的多維數據處理,處理流程體系也制定了嚴格的流程來保證數據分析各個環節的順利進行。
數據空間體系結構
在數據空間體系中,分為 3個層級來作為數據的儲存和操作場所。從下到上分別是原始層、標準層以及套用層。
原始層作為原始數據輸入到系統後儲存的場所,當外部數據輸入到系統中後,所有數據都作為原始數據儲存在輸入層中,而且對於原始數據,系統不會在輸入層中對其進行定義和改動。
標準層是提取原始層中與分析有關的數據,在進行整理和按維度劃分後的數據儲存的場所,也是儲存對各種數據定位的場所。 標準層有 3個子層 :儲存子層、定位子層 、映射子層。 儲存子層是儲存從原始層中導入的數據。 在儲存子層中,所有數據在相應類別上都按前面提到的各個維度以及其內部的各個子維度進行定義。 定位子層是針對數據的定義信息,按照不同維度以及其下的子維度,分別儲存子層中各種數據的位置。 當有數據要被提取的時候,通過定位信息查找並提取所需數據。映射子層是根據每次數據提取需求,整理出所需數據的維度和相應子維度,並且在其內部列出這些維度以及相應子維度。它的功能是通過在查找定位子層中這些子維度的定位,把所需維度的數據,映射到套用層中。
套用層是接受映射數據和進行分析處理的場所。當接受從標準層傳輸的數據後,其按輸出要求對數據進行分析和處理,並且在完成分析處理後,把結果從OEE多維數據分析系統中輸出。
OEE分析系統的多維數據處理流程
根據 OEE數據分析的特點和在數據輸出時便捷直觀的要求,把整個 OEE的數據處理全程劃分為 4個主要處理環節,分別是輸入環節 、處理環節、輸出準備環節以及輸出環節。
1.環節及輸出環節工作模式
輸入環節是數據從外部導入系統數據原始層的通道。 輸出環節是將在數據套用層中的數據分析結果,以表格或者圖表的形式,直觀地向用戶呈現出OEE以及相關數據的表現形式。 除此之外,在輸出環節把結果輸出後,用戶也可以根據具體需要,對系統提出鑽取和旋轉要求,讓輸出準備環節根據反饋要求對數據進行鑽取和旋轉後,再次進行數據輸出 。
2.處理環節工作模式
處理層的功能是提取數據原始層中輸入的數據,並對其進行預處理,並且把預處理後數據導入到數據標準層中,以便高效無誤地進行後面環節的工作。 預處理分為 3個步驟:數據預計算、異常去除、維度整理 。
數據預計算是將由原始層提取的數據,按照OEE計算公式以及其它計算規則,計算出衍生數據。錯誤去除是指在完成預計算後,結合計算結果和導入的原始數據,篩除對後期數據分析會有影響的個別點位上的異常數據。
維度整理是根據去除異常數據後系統內數據所表達的各種信息,按照前面對生產數據劃分規則,對現有數據中反映這些信息的數據按各個維度以及其下面各個層級子維度的關係進行標記。 還要把標記的數據,按標準的維度層次順序分別依次導入到數據標準層中 。
處理環節有 2個目的,一是為後期進行切割和鑽取工作提供來源數據;是避免一些無用的數據進入到後期的分析活動中,加大分析複雜程度。
3.輸出準備環節工作模式
輸出準備環節是對最終結果的輸出做好數據上的準備,是連線標準層數據、套用層數據以及輸出數據的橋樑。在輸出準備環節主要起 3個作用,分別是抽取、整理和反饋處理。
抽取實際是把標準層中劃分好維度的數據,按照輸出要求用多維數據處理中切割的方式選取,並且導入到套用層中。整理是對套用層中的數據,按照輸出要求進行統計和分析處理其它數據,以便輸出直觀的數據資料。
反饋是在輸出完成後,再按照用戶的要求,對輸出數據進行重新處理。反饋處理包含 2個方面:一個是多維數據分析中的旋轉;另外一個是多維數據分析中的鑽取。
輸出準備環節在整個系統中有 3個作用,一是把需要的維度數據用切割的方式抽出,供後面的分析使用;二是對抽出的數據,進行相應的統計計算,以便後面分析;三是實施輸出層的反饋要求,對維度數據進行鑽取。