最近在在參加一個(gè)文本識(shí)別算法測(cè)試的方案評(píng)審時(shí)。

研發(fā)同學(xué)提到這樣一個(gè)要求：“測(cè)試圖片中文字旋轉(zhuǎn)角度不要大于水平30°” 。

軟件測(cè)試同學(xué)表示：“好的。”

看到這樣的一段對(duì)話，不由得引發(fā)出一個(gè)的思考——對(duì)于類似于這種要求，測(cè)試人員是否也需要有自己的判斷，有一個(gè)思辨的過(guò)程，還是不假思索的以研發(fā)同學(xué)說(shuō)的為準(zhǔn)。

以這個(gè)為例，是否可以依據(jù)真實(shí)數(shù)據(jù)特征分布進(jìn)行判斷。比如參考真實(shí)數(shù)據(jù)或者打標(biāo)數(shù)據(jù)中的特征分布，是否絕大部分圖片中文字旋轉(zhuǎn)角度不超過(guò)30°，若不是，那么是否可以認(rèn)為研發(fā)同學(xué)對(duì)于這個(gè)角度設(shè)定的要求是存在問(wèn)題的，若繼續(xù)按照這個(gè)方式去準(zhǔn)備測(cè)試集，存在即使模型指標(biāo)測(cè)試通過(guò)，但在實(shí)際應(yīng)用效果可能會(huì)并不好的風(fēng)險(xiǎn)。如果真實(shí)數(shù)據(jù)分布大部分均不超過(guò)30°，那么同樣需要在測(cè)試報(bào)告中，對(duì)類似于這種準(zhǔn)入設(shè)定，需要單獨(dú)進(jìn)行說(shuō)明。

我們?cè)龠M(jìn)一步抽象一下，算法數(shù)據(jù)的選擇主要從算法的應(yīng)用方向與應(yīng)用場(chǎng)景兩個(gè)角度考慮。 與研發(fā)同學(xué)選擇什么數(shù)據(jù)進(jìn)行訓(xùn)練其實(shí)關(guān)系不大，因?yàn)檠邪l(fā)也需要這些角度考慮，測(cè)試的思維應(yīng)該是相對(duì)獨(dú)立的，否則可能存在研發(fā)選錯(cuò)或者選偏，我們跟著錯(cuò)的風(fēng)險(xiǎn)。包括測(cè)試方案、設(shè)計(jì)評(píng)審環(huán)節(jié)，評(píng)審的是我們的測(cè)試設(shè)計(jì)是否需要完善，存在何種風(fēng)險(xiǎn)，而不是測(cè)試是否按照研發(fā)的思路在測(cè)試。

算法的應(yīng)用方向指的是，比如同樣是人臉識(shí)別算法，可以用于人臉簽到、人臉檢索等等，這就使得我們?cè)跀?shù)據(jù)集準(zhǔn)備上數(shù)據(jù)來(lái)源需要具有多樣性、多分布的要求。夸張上的說(shuō)，如果人臉識(shí)別算法不去做失蹤兒童識(shí)別，那么除了嬰兒其他任何年齡段任何場(chǎng)景下的人的照片，基本都是我們的收集范圍。

算法的應(yīng)用場(chǎng)景指的是，不同的應(yīng)用方向決定了其具體的應(yīng)用場(chǎng)景的，對(duì)應(yīng)的場(chǎng)景的數(shù)據(jù)基本具有與其相對(duì)應(yīng)的數(shù)據(jù)特征，特征的分布與其他場(chǎng)景也有所差異。比如人臉簽到，通常，光照不會(huì)很暗、 人臉占比不會(huì)很小。因此在算法產(chǎn)品化的測(cè)試中，應(yīng)用場(chǎng)景已經(jīng)確認(rèn)，數(shù)據(jù)的選擇也應(yīng)該考慮該場(chǎng)景下的數(shù)據(jù)特征，而非盲目的選擇。