軟體系統效能評估

評估具有五大要素：評估主體、評估對象、評估目標、評估手段（準則、方法、工具）、評估實施。

基本介紹

• 中文名：軟體系統效能評估
• 基本概念：評估質量、評估時效性等
• 分類：經濟性評估、效能評估等
• 要注意的問題：所闡述的問題是否為實際性的問題

基本概念

評估要求

評估應具有實用價值，這就要求評估的準則、評估的方法、評估的效能指標要面向用途，以評估目標為導向，考慮到不同層次評估主體的不同需求。

評估質量

指評估結果的可信度衡量，可通過可用性和可靠性來描述，可用性：指評估結果的可用性和一定有效性基礎上的評估效率；可靠性：是指一定可利用性基礎上的評估結果的正確性。

評估時效性

評估結果具有時效性，指應從發展的觀點看待評估。由於情況條件的變化，認識的深入，評估結果有一定的變化，因此，評估應在實踐中反覆檢驗。

指標限定性

效能指標是在一定條件下得出的，具有一定的適應範圍，使命任務和系統的配置不同，其評估對象的效能指標也不盡相同，效能指標值總體構成約束條件空間內的動態曲線。

軟體簡介

系統評價的主要任務、應掌握的原則、注意的問題

主要任務

分析論證軟體系統的組成規模和方案優劣

檢驗軟體系統的完備性、一致性和正確性

論證軟體系統內部要素的相互關係和對系統總體效能的影響

軟體系統結構合理性分析

軟體系統效能指標的靈敏度分析

原則和觀點

系統的觀點：軟體系統的效能不是系統各個子系統效能的簡單總和而是有機綜合。

滿意的觀點：軟體系統是一個複雜的信息系統，嚴格數學意義上的系統最優概念是不存在的，只能求得滿意的系統和可行的解。

目標和準則的觀點：系統的優劣是相對目標和準則而言的。

注意問題

所闡述的問題是否為實際性的問題

評估過程中所作假定的合理性問題

效能度量與任務目標的相稱性問題

評估方案的合理性問題

評估模型正確性及敏感性問題

評估的可信度問題

評估分類

為了能夠對軟體系統作出科學的評估，需要綜合考慮軟體系統的各個方面的特性，對軟體系統進行全方位的評估，我們根據軟體系統的性能、效能、經濟性三個方面，把對軟體系統的評估分為三類：

經濟性評估

經濟評估主要從研製軟體系統的科技投資效益的角度來考慮的。從投資學角度來講，建設這樣的軟體系統，將花費多少費用，是否符合需求方的支撐能力？在追求系統高效能的同時，投資費用卻要受到限制，不能超出需求方的經濟水平，故只能採取折中的辦法。在投資前對多個被選方案分別進行經濟性能評估，然後由決策者從中選擇認為是最為可行的一種。經濟性評估的主要內容就是費用預測。

效能評估

系統效能，是預期一個系統滿足一組特定任務的程度的量度。它是系統的綜合性能的反映，是系統的整體屬性。效能評估，就是要對系統進行綜合分析，把系統的各項性能與任務要求綜合比較，最終得到表示系統的優劣程度的結果。

軟體系統的效能，可以細分為軟體系統的自身效能和套用效能。自身效能是軟體系統本身固有的性能，它體現了軟體系統本身的完備性；套用效能是軟體系統在套用過程中的體現的效能，是對社會的貢獻。

性能評估

系統性能評估是對系統的單項指標的評估，與效能相比，系統性能是絕對的，針對於產品。而效能是比較抽象的，針對於用戶的。對於複雜的軟體系統，系統的性能指標包括很多內容，有關文獻把其分為三個層次：

第一，用戶層次；

第二，系統負責人層次；

第三，子系統設計者層次；

不同層次的工作人員，對系統性能指標的側重程度是不一樣的。

存在問題

對軟體系統評估理論和研究現狀的認識是我們研究的起點，從中可以確定提高的方向，目前對軟體系統的評估普遍存在以下幾個方面的問題：

多元化的評估標準

這是指評估的觀點不一致，標準不統一，各種評估結果之間缺乏對比性。這種非制度化、非標準化、非規範化的狀態造成了評估權威性的失落，使得相當多的人對評估抱有一種“怎么都行”的態度。

效能指標的無限定性

這是指效能指標或者不與使命任務相聯繫，或者不和具體的套用環境相依存，脫離了約束條件而抽象存在。這種指標對於指導具體使用是空泛無力的。

向技術指標傾斜存

這是用若干技術指標構造效能指標，甚至直接用用技術指標代替效能指標的做法，即把效能指標建立在技術指標之上。這樣的評估要么不能綜合地反映系統效能，要么不能可靠地反映出複雜多變的系統行為效果。

評估過程的不可重複性

如果評估過程不具有可重複性，就會使評估結果失去必然性。

目前的評估方法和模型紛繁不一，其中影響較大的有SEA方法、系統動力學方法、Petri分析法、試驗床法、影響圖方法、步驟化指控評估結構模型和層次分析法等方法和模型，這些方法和模型以評價目的為中心，從不同的角度探討了軟體系統的評價問題，在實際的套用中得到了許多的積極成果，但也同時暴露出了需要繼續完善和進一步發展的地方。因此，我們有必要對對這種理論現狀進行分析研究，指明一些問題，在評估的思想和方法上闡明自己的觀點。

評估步驟

通常的軟體系統評估由七個步驟組成，即：問題定義、確定系統邊界、過程定義、靜態與動態集成、評估指標確定、數據產生、指標綜合。

1、問題定義（Problem Formulation）：

就是針對特定的問題提出決策者的需求和目標。這一步驟的輸出就是對問題的一個更精確的說明和描述，而且這一說明和描述可以翻譯成系統要達到的目標。這個目標又應進一步具體化為系統的實際目標而且是可操作的。在這一步驟中，評價過程中涉及到許多的概念、想定及其它假定等。

2、確定系統邊界（System Bounding）：

這一步驟就是確定與問題有關的各種要素，包括：物理實體（設備、軟體、人員等）；結構（組織、套用環境、步驟、過程、協定、信息）