隨著軟件系統(tǒng)的復(fù)雜性不斷增加，軟件測(cè)試的重要性越來(lái)越高，測(cè)試活動(dòng)將影響開(kāi)發(fā)人員的工作效率，產(chǎn)品的可靠性、穩(wěn)定性和合規(guī)性，以及最終產(chǎn)品的運(yùn)營(yíng)效率。

在大模型出現(xiàn)之前，軟件測(cè)試領(lǐng)域一直在探索“智能測(cè)試”，例如精準(zhǔn)測(cè)試、通過(guò)各種傳統(tǒng)算法生成用例、UI自動(dòng)化測(cè)試等。大模型出現(xiàn)后，智能測(cè)試層次不斷提升，真正進(jìn)入了“智能測(cè)試”新時(shí)代。

根據(jù)沙丘智庫(kù)發(fā)布的《大模型應(yīng)用跟蹤月報(bào)（2024年10月）》，從場(chǎng)景上看，相較于2024年上半年常見(jiàn)的知識(shí)助手、編碼助手、智能客服等場(chǎng)景，大模型在銷(xiāo)售賦能、軟件測(cè)試、智能運(yùn)維等場(chǎng)景的應(yīng)用上升明顯。

在軟件測(cè)試領(lǐng)域，自動(dòng)化測(cè)試腳本正在成為繼測(cè)試用例生成以外，又一個(gè)顯著賦能企業(yè)質(zhì)量和測(cè)試活動(dòng)的重要場(chǎng)景。

從測(cè)試端到端工作量分布來(lái)看，測(cè)試自動(dòng)化工作量占比較大，隨著測(cè)試業(yè)務(wù)量的持續(xù)增大，對(duì)測(cè)試自動(dòng)化的及時(shí)性和自動(dòng)化率提出了更高要求，同時(shí)測(cè)試自動(dòng)化程度高也會(huì)降低測(cè)試執(zhí)行部分的工作量。

對(duì)于大部分測(cè)試人員來(lái)說(shuō)，自動(dòng)化測(cè)試腳本生成是一個(gè)耗時(shí)耗力的工作，且不同經(jīng)驗(yàn)?zāi)芰Φ臏y(cè)試人員撰寫(xiě)的腳本質(zhì)量參差不齊。

大模型為自動(dòng)化測(cè)試腳本生成帶來(lái)了新的解決方案，大模型可以編寫(xiě)自動(dòng)化測(cè)試腳本，用于單元、API和UI的功能性和非功能性檢查及評(píng)估，但是可能需要其他平臺(tái)或工具執(zhí)行自動(dòng)化測(cè)試腳本。

沙丘智庫(kù)長(zhǎng)期跟蹤調(diào)研大模型技術(shù)的發(fā)展，旨在幫助企業(yè)快速了解大模型最新、最全面的落地情況。沙丘智庫(kù)通過(guò)研究螞蟻集團(tuán)、中國(guó)郵儲(chǔ)銀行、科大訊飛、華為等4家企業(yè)自動(dòng)化測(cè)試領(lǐng)域大模型應(yīng)用實(shí)踐，旨在為其他企業(yè)提供參考。

▎案例1：支付寶小程序基于AI大模型的自動(dòng)化測(cè)試實(shí)踐

支付寶小程序在質(zhì)量檢測(cè)中面臨不同行業(yè)場(chǎng)景的挑戰(zhàn)，傳統(tǒng)監(jiān)控?zé)o法有效識(shí)別業(yè)務(wù)問(wèn)題。螞蟻集團(tuán)利用AI大模型技術(shù)，開(kāi)發(fā)智能異常檢測(cè)和鏈路測(cè)試算法，實(shí)現(xiàn)自動(dòng)化測(cè)試。

通過(guò)自然語(yǔ)言處理和多模態(tài)大模型，提升了識(shí)別業(yè)務(wù)異常和深度鏈路問(wèn)題的準(zhǔn)確性。該實(shí)踐不僅提高了檢測(cè)效率，還通過(guò)智能動(dòng)線(xiàn)預(yù)測(cè)模塊，增強(qiáng)了用戶(hù)體驗(yàn)。

完整內(nèi)容：支付寶小程序基于AI大模型的自動(dòng)化測(cè)試實(shí)踐

▎案例2：中國(guó)郵儲(chǔ)銀行基于大模型的自動(dòng)化測(cè)試腳本智能生成

傳統(tǒng)的自動(dòng)化測(cè)試腳本編寫(xiě)需要測(cè)試人員具備一定的編程能力，且耗時(shí)耗力，導(dǎo)致腳本編寫(xiě)人力成本大，質(zhì)量參差不齊。

郵儲(chǔ)銀行金牛座自動(dòng)化測(cè)試系統(tǒng)引入大模型技術(shù)，結(jié)合知識(shí)庫(kù)、錄制、報(bào)文解析、圖像識(shí)別等技術(shù)，針對(duì)不同場(chǎng)景提供腳本智能生成功能：

· 單接口腳本批量生成：主要用于單接口測(cè)試，提供了單接口腳本批量生成功能，有效解決了單接口測(cè)試腳本編寫(xiě)量級(jí)較大的問(wèn)題；

· 多接口組合場(chǎng)景腳本智能生成：主要用于測(cè)試業(yè)務(wù)流程，針對(duì)組合場(chǎng)景腳本，采用錄制+智能分析+輔助編寫(xiě)的方案智能生成腳本；

· UI測(cè)試腳本智能生成：借助大模型技術(shù)，可以根據(jù)簡(jiǎn)單的用例描述，直接自動(dòng)生成測(cè)試腳本。

▎案例3：科大訊飛基于大模型的自動(dòng)化測(cè)試實(shí)踐

在接口測(cè)試腳本生成場(chǎng)景，科大訊飛將接口測(cè)試平臺(tái)融合大模型能力，提供智能用例生成服務(wù)，當(dāng)前平臺(tái)主要針對(duì)HTTP協(xié)議進(jìn)行接口的智能化測(cè)試。當(dāng)新增接口用例或?qū)⒔涌诙x導(dǎo)入時(shí)，會(huì)調(diào)用智能用例生成服務(wù)自動(dòng)生成接口自動(dòng)化用例；

在UI自動(dòng)化測(cè)試腳本生成場(chǎng)景，科大訊飛采用用例生成腳本模式，通過(guò)用例文本輸入的引導(dǎo)，結(jié)合其他輸入數(shù)據(jù)，生成UI自動(dòng)化腳本。經(jīng)業(yè)務(wù)驗(yàn)證，在用例編寫(xiě)規(guī)范的情況下，UI自動(dòng)化腳本生成的采納率可以達(dá)到50%以上。

華為選擇大模型輔助測(cè)試自動(dòng)化代碼生成作為大模型在智能測(cè)試領(lǐng)域應(yīng)用的突破點(diǎn)，首先使用SFT調(diào)優(yōu)方案，落地場(chǎng)景為老特性防護(hù)網(wǎng)補(bǔ)齊，但存在時(shí)間間隔導(dǎo)致無(wú)法寫(xiě)新特性；然后，使用RAG方案實(shí)現(xiàn)分鐘級(jí)新特性編寫(xiě)；再次，進(jìn)一步實(shí)現(xiàn)無(wú)需寫(xiě)樣例腳本，直接通過(guò)AW生成。從整個(gè)方案迭代方向看，AI自動(dòng)生成的比例越來(lái)越大。

截止2024年6月底，大模型輔助測(cè)試自動(dòng)化代碼生成的應(yīng)用人數(shù)為近3k人，覆蓋60+產(chǎn)品，測(cè)試自動(dòng)化生成的代碼量40+萬(wàn)行。