趣談軟件測(cè)試中的產(chǎn)品質(zhì)量保障

發(fā)布日期：2019-07-24 來(lái)源：匯智動(dòng)力
  從畢業(yè)踏入軟件測(cè)試行業(yè)，偶爾在測(cè)試報(bào)告中看到“線上 0 Bug”這個(gè)的字眼。不知道何時(shí)，這樣的測(cè)試結(jié)果被當(dāng)做了一種標(biāo)桿，大家好像默默的在追求這種“0 Bug”的美好測(cè)試結(jié)果。無(wú)形中大家被帶入了誤區(qū)，認(rèn)為專業(yè)的測(cè)試人員、全面的測(cè)試設(shè)計(jì)下不應(yīng)該有Bug，只要有問(wèn)題，那么就是測(cè)試的鍋。
其實(shí)答案很明顯，大家都知道測(cè)試是沒(méi)有窮盡的，只要你愿意投入時(shí)間、人力去測(cè)試，總會(huì)發(fā)現(xiàn)大大小小的問(wèn)題，但缺陷是會(huì)收斂的，前期我們可能每天發(fā)現(xiàn)20個(gè)缺陷，但隨著測(cè)試的開(kāi)展，每天發(fā)現(xiàn)的缺陷數(shù)量逐漸變少。如果缺陷也遵循二八原則，投入20%成本，發(fā)現(xiàn)80%的缺陷，那么剩下的80%的成本你是否會(huì)選擇去發(fā)現(xiàn)那20%的問(wèn)題呢？——視情況而定。
因此只有沒(méi)有被發(fā)現(xiàn)的Bug，沒(méi)有0 Bug。我們不需要去追求100%的完美結(jié)果，因?yàn)檫@是不存在的。
那么近乎完美的結(jié)果是什么？——線上沒(méi)有問(wèn)題被發(fā)現(xiàn)、被吐槽。被誰(shuí)？——被用戶發(fā)現(xiàn)。但隨著用戶使用次數(shù)、用戶基數(shù)的增多，幾乎不可能沒(méi)有任何問(wèn)題。
研發(fā)自測(cè)，憑啥 ？
進(jìn)入測(cè)試行業(yè)，在參與的第一個(gè)項(xiàng)目的大迭代后，進(jìn)行了一次缺陷分析，通過(guò)分析發(fā)現(xiàn)研發(fā)提測(cè)質(zhì)量比較差，發(fā)現(xiàn)很多明顯的重要、中等缺陷，占比30%。于是對(duì)研發(fā)提出了“自測(cè)”的要求，這是我第一次提這個(gè)詞，雖然研發(fā)看到缺陷分析的數(shù)據(jù)后，也無(wú)話可說(shuō)，只能去執(zhí)行，但也能從臉上看出一絲絲的“憑啥？”。
其實(shí)，我也在想憑啥？測(cè)試人員不就是做測(cè)試嘛，研發(fā)人員不就是應(yīng)該開(kāi)發(fā)嘛，那么“研發(fā)自測(cè)”這個(gè)怎么界定測(cè)試范圍呢？
如果說(shuō)質(zhì)量是一個(gè)平面，平面中存在一個(gè)圓圈，圓圈內(nèi)就是研發(fā)人員自測(cè)、圓圈外就是測(cè)試人員測(cè)試，圓圈內(nèi)做的是質(zhì)量?jī)?nèi)建，在有限的范圍（基本功能性）內(nèi)建設(shè)質(zhì)量，圓圈外做的是質(zhì)量外建，在無(wú)限的范圍（功能性、非功能性的廣度、深度）內(nèi)探索質(zhì)量，這樣來(lái)看，研發(fā)、測(cè)試共建質(zhì)量，挺好。
現(xiàn)在，隨著測(cè)試左移，也提出了測(cè)試人員通過(guò)測(cè)試技術(shù)幫助研發(fā)內(nèi)建質(zhì)量，比如自動(dòng)化測(cè)試的左移。
技術(shù)推動(dòng)質(zhì)量保障？
特別是近幾年，興起了技術(shù)推動(dòng)質(zhì)量保障之風(fēng)，我也樂(lè)死不疲的加入測(cè)試開(kāi)發(fā)的隊(duì)伍當(dāng)中，但技術(shù)真的能保障質(zhì)量嗎？
先來(lái)看看我們使用技術(shù)做了些什么？，做了重復(fù)性高的測(cè)試用例的自動(dòng)化；做了因?yàn)闇y(cè)試成本較大而沒(méi)有時(shí)間每輪迭代都會(huì)覆蓋的用例的自動(dòng)化；做了測(cè)試數(shù)據(jù)構(gòu)造、測(cè)試環(huán)境檢測(cè)工具。
從上面來(lái)看，技術(shù)到底保障了什么？——效率。效率提升的背后有什么什么？——是我們將提升的效率的收益，是否投入到了測(cè)試外建（功能性、非功能性的廣度、深度）當(dāng)中。
產(chǎn)品質(zhì)量的邊界是什么？
作為一個(gè)測(cè)試人員，保障產(chǎn)品質(zhì)量當(dāng)之無(wú)愧，那么產(chǎn)品質(zhì)量是什么，沒(méi)有缺陷？
記得在2016年，第一次對(duì)產(chǎn)品進(jìn)行線上用戶行為分析，在此之前我們一直認(rèn)為項(xiàng)目質(zhì)量非常OK，因?yàn)榫€上缺陷少呀。
但分析結(jié)果直接顛覆三觀，產(chǎn)品各功能模塊用戶使用次數(shù)嚴(yán)重不均衡，自己所測(cè)的模塊用戶使用次數(shù)占產(chǎn)品總用戶數(shù)的20%... 原來(lái)線上缺陷少，還有另一種可能——用戶使用的少。
那么，產(chǎn)品質(zhì)量的邊界是什么？很自然，絕不僅僅是線上缺陷數(shù)量。產(chǎn)品質(zhì)量不是測(cè)試說(shuō)的算，也不是研發(fā)說(shuō)的算，而是用戶說(shuō)的算。產(chǎn)品質(zhì)量好壞是用戶綜合體驗(yàn)的反饋，是否真正的滿足用戶需求，達(dá)到用戶的使用目的，同時(shí)也是用戶使用過(guò)程中，產(chǎn)品的功能性、非功能性沒(méi)有對(duì)用戶使用操作干擾，用戶體驗(yàn)流暢、用戶增長(zhǎng)、留存等等。