近日，阿里巴巴旗下的通義千問(wèn)Qwen團(tuán)隊(duì)推出了一個(gè)名為CodeElo的基準(zhǔn)測(cè)試，該測(cè)試旨在通過(guò)Elo評(píng)級(jí)系統(tǒng)，對(duì)比大語(yǔ)言模型（LLM）與人類程序員的編程能力。

在AI應(yīng)用場(chǎng)景中，大語(yǔ)言模型的一個(gè)關(guān)鍵應(yīng)用是代碼生成與補(bǔ)全。然而，在評(píng)估LLM編程能力的真實(shí)性方面，業(yè)界面臨著諸多挑戰(zhàn)?，F(xiàn)有的基準(zhǔn)測(cè)試，如LiveCodeBench和USACO，都存在明顯的局限性，如缺乏健壯的私有測(cè)試用例、不支持專門的判斷系統(tǒng)，以及執(zhí)行環(huán)境不一致等問(wèn)題。

CodeElo基準(zhǔn)測(cè)試的核心優(yōu)勢(shì)在于其全面性、穩(wěn)健性和標(biāo)準(zhǔn)化。在題目選擇上，CodeElo涵蓋了廣泛的比賽分區(qū)、難度級(jí)別和算法標(biāo)簽，為L(zhǎng)LM提供了全面的評(píng)估。在評(píng)估方法上，CodeElo利用CodeForces平臺(tái)的特殊評(píng)估機(jī)制，確保了對(duì)代碼準(zhǔn)確性的判斷，避免了誤報(bào)等問(wèn)題，并支持需要特殊評(píng)判機(jī)制的題目。在評(píng)級(jí)計(jì)算上，CodeElo采用Elo評(píng)級(jí)系統(tǒng)，根據(jù)問(wèn)題的難度和解決方案的正確性對(duì)LLM進(jìn)行評(píng)分，并對(duì)錯(cuò)誤進(jìn)行懲罰，從而激勵(lì)高質(zhì)量的解決方案。

在對(duì)30個(gè)開(kāi)源LLM和3個(gè)專有LLM進(jìn)行測(cè)試后，結(jié)果顯示OpenAI的o1-mini模型表現(xiàn)最為出色，其Elo評(píng)分達(dá)到了1578，超過(guò)了90%的人類參與者。在開(kāi)源模型中，QwQ-32B-Preview以1261分的成績(jī)位居榜首。然而，這些模型在解決簡(jiǎn)單問(wèn)題時(shí)仍然表現(xiàn)出一定的困難，通常排名在人類參與者的后20%左右。分析發(fā)現(xiàn)，這些模型在數(shù)學(xué)和實(shí)現(xiàn)等類別上表現(xiàn)出色，但在動(dòng)態(tài)規(guī)劃和樹(shù)形算法方面存在明顯的不足。

測(cè)試還發(fā)現(xiàn)，當(dāng)使用C++進(jìn)行編碼時(shí)，LLM的表現(xiàn)更為出色，這與競(jìng)技程序員的偏好一致。這些結(jié)果不僅揭示了LLM在編程能力方面的優(yōu)勢(shì)，也指出了其需要改進(jìn)的領(lǐng)域。通過(guò)CodeElo基準(zhǔn)測(cè)試，我們可以更加清晰地了解LLM在編程競(jìng)賽中的表現(xiàn)，并為未來(lái)的研究和開(kāi)發(fā)提供有益的參考。

隨著技術(shù)的不斷發(fā)展，LLM在編程領(lǐng)域的應(yīng)用將會(huì)越來(lái)越廣泛。CodeElo基準(zhǔn)測(cè)試的推出，為評(píng)估LLM的編程能力提供了一個(gè)新的視角和工具。未來(lái)，我們可以期待更多類似的基準(zhǔn)測(cè)試出現(xiàn)，以推動(dòng)LLM在編程領(lǐng)域的不斷進(jìn)步和發(fā)展。