黑盒測試

　　作用

　　黑盒測試法注重于測試軟件的功能需求，主要試圖發(fā)現(xiàn)下列幾類錯誤。

　　功能不正確或遺漏；

　　界面錯誤；

　　輸入和輸出錯誤；

　　數(shù)據(jù)庫訪問錯誤；

　　性能錯誤；

　　初始化和終止錯誤等。

　　測試方法

　　概述

　　從理論上講，黑盒測試只有采用窮舉輸入測試，把所有可能的輸入都作為測試情況考慮，才能查出程序中所有的錯誤。實際上測試情況有無窮多個，人們不僅要測試所有合法的輸入，而且還要對那些不合法但可能的輸入進行測試。這樣看來，完全測試是不可能的，所以我們要進行有針對性的測試，通過制定測試案例指導(dǎo)測試的實施，保證軟件測試有組織、按步驟，以及有計劃地進行。黑盒測試行為必須能夠加以量化，才能真正保證軟件質(zhì)量，而測試用例就是將測試行為具體量化的方法之一。具體的黑盒測試用例設(shè)計方法包括等價類劃分法、邊界值分析法、錯誤推測法、因果圖法、判定表驅(qū)動法、正交試驗設(shè)計法、功能圖法、場景法等。

　　等價類劃分的辦法是把程序的輸入域劃分成若干部分（子集），然后從每個部分中選取少數(shù)代表性數(shù)據(jù)作為測試用例。每一類的代表性數(shù)據(jù)在測試中的作用等價于這一類中的其他值。該方法是一種重要的，常用的黑盒測試用例設(shè)計方法。

　　劃分等價類

　　1)劃分等價類：等價類是指某個輸入域的子集合。在該子集合中，各個輸入數(shù)據(jù)對于揭露程序中的錯誤都是等效的，并合理地假定：測試某等價類的代表值就等于對這一類其它值的測試.因此，可以把全部輸入數(shù)據(jù)合理劃分為若干等價類，在每一個等價類中取一個數(shù)據(jù)作為測試的輸入條件，就可以用少量代表性的測試數(shù)據(jù).取得較好的測試結(jié)果.等價類劃分可有兩種不同的情況：有效等價類和無效等價類。

　　有效等價類：是指對于程序的規(guī)格說明來說是合理的，有意義的輸入數(shù)據(jù)構(gòu)成的集合.利用有效等價類可檢驗程序是否實現(xiàn)了規(guī)格說明中所規(guī)定的功能和性能。

　　無效等價類：與有效等價類的定義恰巧相反。

　　設(shè)計測試用例時，要同時考慮這兩種等價類.因為，軟件不僅要能接收合理的數(shù)據(jù)，也要能經(jīng)受意外的考驗.這樣的測試才能確保軟件具有更高的可靠性。

　　劃分等價類

　　2）劃分等價類的方法：下面給出六條確定等價類的原則。

　　①在輸入條件規(guī)定了取值范圍或值的個數(shù)的情況下，則可以確立一個有效等價類和兩個無效等價類。

　　②在輸入條件規(guī)定了輸入值的集合或者規(guī)定了“必須如何”的條件的情況下，可確立一個有效等價類和一個無效等價類.

　?、墼谳斎霔l件是一個布爾量的情況下，可確定一個有效等價類和一個無效等價類。

　?、茉谝?guī)定了輸入數(shù)據(jù)的一組值（假定n個），并且程序要對每一個輸入值分別處理的情況下，可確立n個有效等價類和一個無效等價類。

　?、菰谝?guī)定了輸入數(shù)據(jù)必須遵守的規(guī)則的情況下，可確立一個有效等價類（符合規(guī)則）和若干個無效等價類（從不同角度違反規(guī)則）。

　?、拊诖_知已劃分的等價類中各元素在程序處理中的方式不同的情況下，則應(yīng)再將該等價類進一步的劃分為更小的等價類。

　　3）設(shè)計測試用例：在確立了等價類后，可建立等價類表，列出所有劃分出的等價類：

　　輸入條件

　　輸入條件有效等價類無效等價類

　　然后從劃分出的等價類中按以下三個原則設(shè)計測試用例：

　?、贋槊恳粋€等價類規(guī)定一個唯一的編號。

　?、谠O(shè)計一個新的測試用例，使其盡可能多地覆蓋尚未被覆蓋地有效等價類，重復(fù)這一步.直到所有的有效等價類都被覆蓋為止。

　　③設(shè)計一個新的測試用例，使其僅覆蓋一個尚未被覆蓋的無效等價類，重復(fù)這一步.直到所有的無效等價類都被覆蓋為止。

　　邊界值分析法

　　邊界值分析是通過選擇等價類邊界的測試用例。邊界值分析法不僅重視輸入條件邊界，而且也必須考慮輸出域邊界。它是對等價類劃分方法的補充。

　　（1）邊界值分析方法的考慮：

　　長期的測試工作經(jīng)驗告訴我們，大量的錯誤是發(fā)生在輸入或輸出范圍的邊界上，而不是發(fā)生在輸入輸出范圍的內(nèi)部.因此針對各種邊界情況設(shè)計測試用例，可以查出更多的錯誤。

　　使用邊界值分析方法設(shè)計測試用例，首先應(yīng)確定邊界情況.通常輸入和輸出等價類的邊界，就是應(yīng)著重測試的邊界情況.應(yīng)當(dāng)選取正好等于，剛剛大于或剛剛小于邊界的值作為測試數(shù)據(jù)，而不是選取等價類中的典型值或任意值作為測試數(shù)據(jù)。

　?。?）基于邊界值分析方法選擇測試用例的原則：

　　1）如果輸入條件規(guī)定了值的范圍，則應(yīng)取剛達到這個范圍的邊界的值，以及剛剛超越這個范圍邊界的值作為測試輸入數(shù)據(jù)。

　　2）如果輸入條件規(guī)定了值的個數(shù)，則用最大個數(shù),最小個數(shù)，比最小個數(shù)少一，比最大個數(shù)多一的數(shù)作為測試數(shù)據(jù)。

　　3）根據(jù)規(guī)格說明的每個輸出條件，使用前面的原則1）。

　　4）根據(jù)規(guī)格說明的每個輸出條件，應(yīng)用前面的原則2）。

　　5）如果程序的規(guī)格說明給出的輸入域或輸出域是有序集合，則應(yīng)選取集合的第一個元素和最后一個元素作為測試用例。

　　6）如果程序中使用了一個內(nèi)部數(shù)據(jù)結(jié)構(gòu)，則應(yīng)當(dāng)選擇這個內(nèi)部數(shù)據(jù)結(jié)構(gòu)的邊界上的值作為測試用例。

　　7）分析規(guī)格說明，找出其它可能的邊界條件。

　　錯誤推測法

　　錯誤推測法是基于經(jīng)驗和直覺推測程序中所有可能存在的各種錯誤，從而有針對性的設(shè)計測試用例的方法.

　　錯誤推測方法的基本思想：列舉出程序中所有可能有的錯誤和容易發(fā)生錯誤的特殊情況，根據(jù)他們選擇測試用例。例如，在單元測試時曾列出的許多在模塊中常見的錯誤.以前產(chǎn)品測試中曾經(jīng)發(fā)現(xiàn)的錯誤等，這些就是經(jīng)驗的總結(jié)。還有，輸入數(shù)據(jù)和輸出數(shù)據(jù)為0的情況.輸入表格為空格或輸入表格只有一行.這些都是容易發(fā)生錯誤的情況?？蛇x擇這些情況下的例子作為測試用例。

　　因果圖法

　　前面介紹的等價類劃分方法和邊界值分析方法，都是著重考慮輸入條件，但未考慮輸入條件之間的聯(lián)系，相互組合等?？紤]輸入條件之間的相互組合，可能會產(chǎn)生一些新的情況.但要檢查輸入條件的組合不是一件容易的事情，即使把所有輸入條件劃分成等價類，他們之間的組合情況也相當(dāng)多.因此必須考慮采用一種適合于描述對于多種條件的組合，相應(yīng)產(chǎn)生多個動作的形式來考慮設(shè)計測試用例.這就需要利用因果圖（邏輯模型）。

　　因果圖方法最終生成的就是判定表。它適合于檢查程序輸入條件的各種組合情況。

　　生成測試用例

　?。?)分析軟件規(guī)格說明描述中，哪些是原因（即輸入條件或輸入條件的等價類），哪些是結(jié)果（即輸出條件），并給每個原因和結(jié)果賦予一個標(biāo)識符。

　　(2)分析軟件規(guī)格說明描述中的語義。找出原因與結(jié)果之間，原因與原因之間對應(yīng)的關(guān)系.根據(jù)這些關(guān)系，畫出因果圖。

　　(3)由于語法或環(huán)境限制，有些原因與原因之間，原因與結(jié)果之間的組合情況不可能出現(xiàn).為表明這些特殊情況，在因果圖上用一些記號標(biāo)明約束或限制條件。

　　(4)把因果圖轉(zhuǎn)換為判定表。

　　(5)把判定表的每一列拿出來作為依據(jù)，設(shè)計測試用例。

　　從因果圖生成的測試用例（局部，組合關(guān)系下的）包括了所有輸入數(shù)據(jù)的取TRUE與取FALSE的情況，構(gòu)成的測試用例數(shù)目達到最少，且測試用例數(shù)目隨輸入數(shù)據(jù)數(shù)目的增加而線性地增加。

　　前面因果圖方法中已經(jīng)用到了判定表。判定表（DecisionTable）是分析和表達多邏輯條件下執(zhí)行不同操作的情況下的工具.在程序設(shè)計發(fā)展的初期，判定表就已被當(dāng)作編寫程序的輔助工具了.由于它可以把復(fù)雜的邏輯關(guān)系和多種條件組合的情況表達得既具體又明確。

　　判定表組成法

　　條件樁（ConditionStub）：列出了問題的所有條件.通常認為列出的條件的次序無關(guān)緊要。

　　動作樁（ActionStub）：列出了問題規(guī)定可能采取的操作.這些操作的排列順序沒有約束。

　　條件項（ConditionEntry）：列出針對它左列條件的取值.在所有可能情況下的真假值。

　　動作項（ActionEntry）：列出在條件項的各種取值情況下應(yīng)該采取的動作。

　　規(guī)則：任何一個條件組合的特定取值及其相應(yīng)要執(zhí)行的操作.在判定表中貫穿條件項和動作項的一列就是一條規(guī)則.顯然，判定表中列出多少組條件取值，也就有多少條規(guī)則，既條件項和動作項有多少列。

　　判定表的建立步驟

　?、俅_定規(guī)則的個數(shù)。假如有n個條件.每個條件有兩個取值（0,1），故有2n種規(guī)則。

　?、诹谐鏊械臈l件樁和動作樁。

　　③填入條件項。

　?、芴钊雱幼黜?等到初始判定表。

　?、莺喕?合并相似規(guī)則（相同動作）。

　　B.Beizer指出了適合使用判定表設(shè)計測試用例的條件：

　?、僖?guī)格說明以判定表形式給出，或很容易轉(zhuǎn)換成判定表。

　　②條件的排列順序不會也不影響執(zhí)行哪些操作。

　?、垡?guī)則的排列順序不會也不影響執(zhí)行哪些操作。

　?、苊慨?dāng)某一規(guī)則的條件已經(jīng)滿足，并確定要執(zhí)行的操作后，不必檢驗別的規(guī)則。

　?、萑绻骋灰?guī)則得到滿足要執(zhí)行多個操作，這些操作的執(zhí)行順序無關(guān)緊要。

　　正交試驗設(shè)計

　　就是使用已經(jīng)造好了的正交表格來安排試驗并進行數(shù)據(jù)分析的一種方法，目的是用最少的測試用例達到最高的測試覆蓋率。

　　場景法

　　軟件幾乎都是用事件觸發(fā)來控制流程的，事件觸發(fā)的情景

　　基本流和備選流

　　基本流和備選流

　　便形成了場景，而同一事件不同的觸發(fā)順序和處理結(jié)果就形成事件流。這種在軟件設(shè)計方面的思想也可以引入到軟件測試中，可以比較生動地描繪出事件觸發(fā)時的情景，有利于測試設(shè)計者設(shè)計測試用例，同時使測試用例更容易理解和執(zhí)行。

　　基本流和備選流：如下圖所示，圖中經(jīng)過用例的每條路徑都用基本流和備選流來表示，直黑線表示基本流，是經(jīng)過用例的最簡單的路徑。備選流用不同的色彩表示，一個備選流可能從基本流開始，在某個特定條件下執(zhí)行，然后重新加入基本流中（如備選流1和3）；也可能起源于另一個備選流（如備選流2），或者終止用例而不再重新加入到某個流（如備選流2和4）。[2]

　　流程

　　測試計劃

　　首先，根據(jù)用戶需求報告中關(guān)于功能要求和性能指標(biāo)的規(guī)格說明書，定義相應(yīng)的測試需求報告，即制訂黑盒測試的最高標(biāo)準(zhǔn)，以后所有的測試工作都將圍繞著測試需求來進行，符合測試需求的應(yīng)用程序即是合格的，反之即是不合格的；同時，還要適當(dāng)選擇測試內(nèi)容，合理安排測試人員、測試時間及測試資源等。

　　測試設(shè)計

　　將測試計劃階段制訂的測試需求分解、細化為若干個可執(zhí)行的測試過程，并為每個測試過程選擇適當(dāng)?shù)臏y試用例（測試用例選擇的好壞將直接影響到測試結(jié)果的有效性）。

　　測試開發(fā)

　　建立可重復(fù)使用的自動測試過程。

　　測試執(zhí)行

　　執(zhí)行測試開發(fā)階段建立的自動測試過程，并對所發(fā)現(xiàn)的缺陷進行跟蹤管理。測試執(zhí)行一般由單元測試、組合測試、集成測試、系統(tǒng)聯(lián)調(diào)及回歸測試等步驟組成，測試人員應(yīng)本著科學(xué)負責(zé)的態(tài)度，一步一個腳印地進行測試。

　　測試評估

　　結(jié)合量化的測試覆蓋域及缺陷跟蹤報告，對于應(yīng)用軟件的質(zhì)量和開發(fā)團隊的工作進度及工作效率進行綜合評價。

　　優(yōu)點

　　1.基本上不用人管著，如果程序停止運行了一般就是被測試程序crash了

　　2.設(shè)計完測試用例之后，下來的工作就是爽了，當(dāng)然更苦悶的是確定crash原因

　　缺點

　　1.結(jié)果取決于測試用例的設(shè)計，測試用例的設(shè)計部分優(yōu)勢來源于經(jīng)驗，OUSPG的東西很值得借鑒

　　2.沒有狀態(tài)轉(zhuǎn)換的概念，一些成功的例子基本上都是針對PDU來做的，還做不到針對被測試程序的狀態(tài)轉(zhuǎn)換來實現(xiàn)

　　3.就沒有狀態(tài)概念的測試來說，尋找和確定造成程序crash的測試?yán)莻€麻煩事情，必須把周圍可能的測試?yán)龁为毚_認一遍。而就有狀態(tài)的測試來說，就更麻煩了，尤其不是一個單獨的testcase造成的問題。這些在堆的問題中表現(xiàn)的更為突出。

　　工具選擇

　　如何高效地完成功能測試？選擇一款合適的功能測試工具并培訓(xùn)一支高素質(zhì)的工具使用隊伍無疑是至關(guān)重要的。盡管現(xiàn)階段存在少數(shù)不采用任何功能測試工具，從事功能測試外包項目的軟件服務(wù)企業(yè)。短期來看，這類企業(yè)盈利狀況尚可，但長久來看，它們極有可能被自動化程度較高的軟件服務(wù)企業(yè)取代。

　　用于功能測試的工具軟件有很多，針對不同架構(gòu)軟件的工具也不斷推陳出新。這里重點介紹的是其中一個較為典型自動化測試工具，即Mercury公司的WinRunner。

　　WinRunner是一種用于檢驗應(yīng)用程序能否如期運行的企業(yè)級軟件功能測試工具。通過自動捕獲、檢測和模擬用戶交互操作，WinRunner能識別出絕大多數(shù)軟件功能缺陷，從而確保那些跨越了多個功能點和數(shù)據(jù)庫的應(yīng)用程序在發(fā)布時盡量不出現(xiàn)功能性故障。

　　WinRunner的特點在于：與傳統(tǒng)的手工測試相比，它能快速、批量地完成功能點測試；能針對相同測試腳本，執(zhí)行相同的動作，從而消除人工測試所帶來的理解上的誤差；此外，它還能重復(fù)執(zhí)行相同動作，測試工作中最枯燥的部分可交由機器完成；它支持程序風(fēng)格的測試腳本，一個高素質(zhì)的測試工程師能借助它完成流程極為復(fù)雜的測試，通過使用通配符、宏、條件語句、循環(huán)語句等，還能較好地完成測試腳本的重用；它針對于大多數(shù)編程語言和Windows技術(shù)，提供了較好的集成、支持環(huán)境，這對基于Windows平臺的應(yīng)用程序?qū)嵤┕δ軠y試而言帶來了極大的便利。

　　工作流程

　　識別GUI

　　在WinRunner中，我們可以使用GUISpy來識別各種GUI對象，識別后，WinRunner會將其存儲到GUIMapFile中。它提供兩種GUIMapFile模式：GlobalGUIMapFile和GUIMapFileperTest。其最大區(qū)別是后者對每個測試腳本產(chǎn)生一個GUI文件，它能自動建立、存儲、加載，推薦初學(xué)者選用這種模式。但是，這種模式不易于描述對象的改變，其效率比較低，因此對于一個有經(jīng)驗的測試人員來說前者不失為一種更好的選擇，它只產(chǎn)生一個共享的GUI文件，這使得測試腳本更容易維護，且效率更高。

　　建立測試腳本

　　在建立測試腳本時，一般先進行錄制，然后在錄制形成的腳本中手工加入需要的TSL（與C語言類似的測試腳本語言）。錄制腳本有兩種模式：ContextSensitive和Analog，選擇依據(jù)主要在于是否對鼠標(biāo)軌跡進行模擬，在需要回放時一般選用Analog。在錄制過程中這兩種模式可以通過F2鍵相互切換。

　　只要看看現(xiàn)代軟件的規(guī)模和功能點數(shù)就可以明白，功能測試早已跨越了單靠手工敲敲鍵盤、點點鼠標(biāo)就可以完成的階段。而性能測試則是控制系統(tǒng)性能的有效手段，在軟件的能力驗證、能力規(guī)劃、性能調(diào)優(yōu)、缺陷修復(fù)等方面都發(fā)揮著重要作用。

　　腳本除錯

　　在WinRunner中有專門一個DebugToolbar用于測試腳本除錯?？梢允褂胹tep、pause、breakpoint等來控制和跟蹤測試腳本和查看各種變量值。

　　測試腳本

　　當(dāng)應(yīng)用程序有新版本發(fā)布時，我們會對應(yīng)用程序的各種功能包括新增功能進行測試，這時當(dāng)然不可能再來重新錄制和編寫所有的測試腳本。我們可以使用已有的腳本，批量運行這些測試腳本測試舊的功能點是否正常工作?？梢允褂靡粋€call命令來加載各測試腳本。還可在call命令中加各種TSL腳本來增加批量能力。

　　分析測試結(jié)果

　　分析測試結(jié)果在整個測試過程中最重要，通過分析可以發(fā)現(xiàn)應(yīng)用程序的各種功能性缺陷。當(dāng)運行完某個測試腳本后，會產(chǎn)生一個測試報告，從這個測試報告中我們能發(fā)現(xiàn)應(yīng)用程序的功能性缺陷，能看到實際結(jié)果和期望結(jié)果之間的差異，以及在測試過程中產(chǎn)生的各類對話框等。

　　回報缺陷

　　在分析完測試報告后，按照測試流程要回報應(yīng)用程序的各種缺陷，然后將這些缺陷發(fā)給指定人，以便進行修改和維護。

　　常用方法

　　功能測試就是對產(chǎn)品的各功能進行驗證，根據(jù)功能測試用例，逐項測試，檢查產(chǎn)品是否達到用戶要求的功能。常用的測試方法如下

　　1.頁面鏈接檢查：每一個鏈接是否都有對應(yīng)的頁面，并且頁面之間切換正確。

　　2.相關(guān)性檢查：刪除/增加一項會不會對其他項產(chǎn)生影響，如果產(chǎn)生影響，這些影響是否都正確。

　　3.檢查按鈕的功能是否正確：如update,cancel,delete,save等功能是否正確。

　　4.字符串長度檢查：輸入超出需求所說明的字符串長度的內(nèi)容，看系統(tǒng)是否檢查字符串長度，會不會出錯.

　　5.字符類型檢查：在應(yīng)該輸入指定類型的內(nèi)容的地方輸入其他類型的內(nèi)容（如在應(yīng)該輸入整型的地方輸入其他字符類型），看系統(tǒng)是否檢查字符類型，會否報錯.

　　6.標(biāo)點符號檢查：輸入內(nèi)容包括各種標(biāo)點符號，特別是空格，各種引號，回車鍵.看系統(tǒng)處理是否正確.

　　7.中文字符處理：在可以輸入中文的系統(tǒng)輸入中文，看會否出現(xiàn)亂碼或出錯.

　　8.檢查帶出信息的完整性：在查看信息和update信息時，查看所填寫的信息是不是全部帶出.，帶出信息和添加的是否一致

　　9.信息重復(fù)：在一些需要命名，且名字應(yīng)該唯一的信息輸入重復(fù)的名字或ID，看系統(tǒng)有沒有處理，會否報錯，重名包括是否區(qū)分大小寫，以及在輸入內(nèi)容的前后輸入空格，系統(tǒng)是否作出正確處理.

　　10.檢查刪除功能：在一些可以一次刪除多個信息的地方，不選擇任何信息，按”delete”，看系統(tǒng)如何處理，會否出錯；然后選擇一個和多個信息，進行刪除，看是否正確處理.

　　11.檢查添加和修改是否一致：檢查添加和修改信息的要求是否一致，例如添加要求必填的項，修改也應(yīng)該必填；添加規(guī)定為整型的項，修改也必須為整型.

　　12.檢查修改重名：修改時把不能重名的項改為已存在的內(nèi)容，看會否處理，報錯.同時，也要注意，會不會報和自己重名的錯.

　　13.重復(fù)提交表單：一條已經(jīng)成功提交的紀(jì)錄，back后再提交，看看系統(tǒng)是否做了處理。

　　14.檢查多次使用back鍵的情況：在有back的地方，back，回到原來頁面,再back，重復(fù)多次，看會否出錯.

　　15.search檢查：在有search功能的地方輸入系統(tǒng)存在和不存在的內(nèi)容，看search結(jié)果是否正確.如果可以輸入多個search條件，可以同時添加合理和不合理的條件，看系統(tǒng)處理是否正確.

　　16.輸入信息位置：注意在光標(biāo)停留的地方輸入信息時，光標(biāo)和所輸入的信息會否跳到別的地方.

　　17.上傳下載文件檢查：上傳下載文件的功能是否實現(xiàn)，上傳文件是否能打開。對上傳文件的格式有何規(guī)定，系統(tǒng)是否有解釋信息，并檢查系統(tǒng)是否能夠做到。

　　18.必填項檢查：應(yīng)該填寫的項沒有填寫時系統(tǒng)是否都做了處理，對必填項是否有提示信息，如在必填項前加*

　　19.快捷鍵檢查：是否支持常用快捷鍵，如Ctrl+CCtrl+VBackspace等，對一些不允許輸入信息的字段，如選人，選日期對快捷方式是否也做了限制。

　　20.回車鍵檢查：在輸入結(jié)束后直接按回車鍵，看系統(tǒng)處理如何，會否報錯。