近日，國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局（ITU-T）正式公布了由中國信息通信研究院（簡稱“中國信通院”）主導(dǎo)制定的全新國際標(biāo)準(zhǔn)——ITU-T F.748.44，該標(biāo)準(zhǔn)聚焦于大模型基準(zhǔn)測試評估體系，命名為“基準(zhǔn)測試/Assessment criteria for foundation models: Benchmark”。這一里程碑式的成就標(biāo)志著大模型技術(shù)評估領(lǐng)域邁向了國際化標(biāo)準(zhǔn)化的新篇章。

該國際標(biāo)準(zhǔn)深入規(guī)范了大模型基準(zhǔn)測試的各項關(guān)鍵要素，包括測試維度、數(shù)據(jù)集、方法及工具，旨在構(gòu)建一個全球公認(rèn)的大模型能力評估框架。通過系統(tǒng)性研究全球產(chǎn)學(xué)研界超過500項基準(zhǔn)測試，標(biāo)準(zhǔn)確立了四大核心測試維度，即測試場景、測試能力、測試任務(wù)和測試指標(biāo)，為全面、客觀地衡量大模型性能提供了科學(xué)依據(jù)。

隨著人工智能技術(shù)的飛速發(fā)展，如何準(zhǔn)確評估大模型的綜合能力及其潛在缺陷，已成為學(xué)術(shù)界與產(chǎn)業(yè)界共同關(guān)注的焦點。模型基準(zhǔn)測試作為目前最為認(rèn)可的評估手段，通過精心設(shè)計的測試任務(wù)和評價數(shù)據(jù)集，實現(xiàn)了對模型性能的公正、量化評估。然而，由于缺乏統(tǒng)一標(biāo)準(zhǔn)，當(dāng)前市場上存在眾多基準(zhǔn)測試方法和數(shù)據(jù)集，評測結(jié)果的公正性備受質(zhì)疑。

為了破解這一難題，中國信通院自2023年起便著手布局大模型基準(zhǔn)測試研究，并于年底推出了“方升”大模型基準(zhǔn)測試體系，創(chuàng)新性地引入了自適應(yīng)動態(tài)測試方法，積累了600萬條數(shù)據(jù)集，并構(gòu)建了FactTeting測試工具，實現(xiàn)了大模型測試流程的自動化。這一系列的努力為國際標(biāo)準(zhǔn)的制定奠定了堅實基礎(chǔ)。

自2024年起，中國信通院參照已發(fā)布的ITU大模型基準(zhǔn)測試國際標(biāo)準(zhǔn)，對國內(nèi)外眾多標(biāo)桿大模型進行了持續(xù)監(jiān)測，涵蓋了OpenAI o1、DeepSeek R1、Gemini 2.5 Pro、Claude 3.7 Sonnet、Qwen2.5-Max以及百度文心大模型X1等上百個模型。通過每兩個月一次的周期性評測，發(fā)布了涵蓋大語言通用能力、推理能力、代碼能力、多模態(tài)理解能力、文生圖能力以及文生視頻能力等多個方面的評測結(jié)果，為行業(yè)提供了權(quán)威、全面的參考。

ITU-T F.748.44國際標(biāo)準(zhǔn)的發(fā)布，不僅為大模型技術(shù)的提供方和應(yīng)用方提供了高質(zhì)量的能力評估依據(jù)，還促進了大模型基準(zhǔn)測試體系架構(gòu)的國際共識，引導(dǎo)大模型技術(shù)及產(chǎn)業(yè)健康有序發(fā)展。這一標(biāo)準(zhǔn)化成果對于推動技術(shù)創(chuàng)新、引領(lǐng)行業(yè)趨勢以及加強國際合作與交流具有重要意義，標(biāo)志著大模型測試領(lǐng)域邁出了堅實的一步。