近期，蘋果公司與杜克大學(xué)的一項合作研究引起了科技界的廣泛關(guān)注。這項研究提出了一種名為交錯推理的全新強化學(xué)習(xí)方法，旨在增強大語言模型的推理能力。

在以往，大型語言模型在處理復(fù)雜的多步驟問題時，通常采用一種線性的推理方式，即先完成整個推理過程，再給出答案。然而，這種方式存在明顯缺陷：一方面，它導(dǎo)致了較長的響應(yīng)時間，無法滿足即時交互的需求；另一方面，一旦推理過程中的某個環(huán)節(jié)出錯，最終答案的準(zhǔn)確性也會大打折扣。

與人類的對話習(xí)慣不同，語言模型往往不會在推理過程中分享任何中間想法，而是等待全部推理完成后再一次性輸出結(jié)果。這種“閉門造車”的方式，無疑降低了模型的效率。

為了克服這一難題，蘋果與杜克大學(xué)的研究人員共同研發(fā)了交錯推理技術(shù)。這一技術(shù)允許模型在推理過程中交替進(jìn)行內(nèi)部計算和輸出中間答案，從而極大地提升了速度和實用性。

交錯推理技術(shù)基于強化學(xué)習(xí)框架，采用了一種特殊的訓(xùn)練模板，其中包含了特定的標(biāo)簽，以確保模型在關(guān)鍵推理節(jié)點上能夠輸出中間結(jié)果。研究團(tuán)隊還設(shè)計了一套基于規(guī)則的獎勵機制，包括格式正確性、最終答案準(zhǔn)確率和條件性中間準(zhǔn)確率，以引導(dǎo)模型注重整體推理的準(zhǔn)確性。

在實際測試中，交錯推理技術(shù)在Qwen2.5模型（包括1.5B和7B參數(shù)版本）上取得了顯著成效。與傳統(tǒng)方法相比，響應(yīng)速度提升了超過80%，準(zhǔn)確率也提高了高達(dá)19.3%。更令人矚目的是，該方法僅在問答和邏輯數(shù)據(jù)集上進(jìn)行了訓(xùn)練，卻能夠在MATH、GPQA、MMLU等更具挑戰(zhàn)性的基準(zhǔn)測試中展現(xiàn)出強大的泛化能力。

研究團(tuán)隊還嘗試了多種獎勵策略，如全或無獎勵、部分積分獎勵和時間折扣獎勵等。實驗結(jié)果表明，條件性和時間折扣獎勵策略的效果最佳，顯著優(yōu)于傳統(tǒng)獎勵方法。