APP顯示，近日，Kimi關(guān)聯(lián)公司北京月之暗面科技有限公司申請(qǐng)的“一種大語言推理系統(tǒng)及方法”專利獲授權(quán)。

專利摘要顯示，本發(fā)明公開了一種大語言推理系統(tǒng)，包括：至少一個(gè)預(yù)填充計(jì)算單元，至少一個(gè)生成計(jì)算單元及緩存單元；至少一個(gè)預(yù)填充計(jì)算單元，用于根據(jù)當(dāng)前推理請(qǐng)求及歷史推理資源進(jìn)行預(yù)填充，得到當(dāng)前推理數(shù)據(jù)，發(fā)送當(dāng)前推理數(shù)據(jù)至生成計(jì)算單元和緩存單元；至少一個(gè)生成計(jì)算單元，用于接收當(dāng)前推理數(shù)據(jù)，并采用預(yù)設(shè)的大語言模型根據(jù)當(dāng)前推理數(shù)據(jù)生成當(dāng)前結(jié)果字，根據(jù)當(dāng)前結(jié)果字生成當(dāng)前推理結(jié)果發(fā)送至緩存單元，輸出當(dāng)前結(jié)果字至用戶端；緩存單元，用于根據(jù)當(dāng)前推理請(qǐng)求，保存當(dāng)前推理數(shù)據(jù)，當(dāng)前推理請(qǐng)求及當(dāng)前推理結(jié)果。本發(fā)明提供的技術(shù)方案，可以減少推理過程中的計(jì)算量，提高推理結(jié)果自然語言的流暢性與連續(xù)性。