小米大模型團隊近日通過官方渠道“Xiaomi MiMo”公眾號震撼發(fā)布，其首個專為推理能力打造的大模型——MiMo正式開源。這一舉措標志著小米在人工智能領域的又一重大突破，由全新組建的小米大模型Core團隊傾力打造。

據(jù)悉，MiMo在數(shù)學推理（參考AIME 24-25評測）及代碼競賽（LiveCodeBench v5評測）兩大公開測評集中，僅憑7B的參數(shù)規(guī)模，便超越了業(yè)界知名的OpenAI閉源推理模型o1-mini，以及規(guī)模更為龐大的阿里開源推理模型QwQ-32B-Preview，展現(xiàn)出卓越的推理性能。

小米官方詳細闡述了MiMo推理能力得以大幅提升的背后邏輯，這得益于預訓練和后訓練階段中數(shù)據(jù)和算法等多方面的創(chuàng)新融合。在預訓練階段，團隊著重讓模型接觸并學習多樣化的推理模式；數(shù)據(jù)方面，深入挖掘富含推理元素的語料，并合成約200B tokens的推理數(shù)據(jù)集，為模型提供了豐富的訓練素材。訓練過程則分為三個階段，逐步提升難度，累計訓練量達到25T tokens。

進入后訓練階段，小米團隊采用了高效穩(wěn)定的強化學習算法和框架。算法層面，創(chuàng)新性地提出了Test Difficulty Driven Reward機制，有效緩解了困難算法問題中的獎勵稀疏難題，并引入Easy Data Re-Sampling策略，確保RL訓練的穩(wěn)定性?？蚣軐用?，設計了一套Seamless Rollout系統(tǒng)，使得RL訓練速度提升了2.29倍，驗證速度也加快了1.96倍。

小米大模型MiMo的開源，無疑為人工智能社區(qū)注入了一股新的活力。對于開發(fā)者而言，這意味著他們將有機會深入了解并應用這一先進的推理模型，推動相關領域的技術進步和創(chuàng)新。同時，MiMo的成功也展示了小米在人工智能領域的深厚積累和持續(xù)創(chuàng)新能力。

對于關注人工智能發(fā)展的廣大用戶而言，小米MiMo的開源無疑是一個值得期待的消息。它預示著未來將有更多基于這一模型的創(chuàng)新應用涌現(xiàn)，為人們的生活和工作帶來更多便利和可能性。

感興趣的開發(fā)者可以通過以下鏈接獲取小米MiMo的開源代碼及技術報告：

Hugging Face平臺：（鏈接已移除）

技術報告：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf