近日,阿里云機器學習平臺PAI與華東師范大學高明教授團隊合作的論文《結(jié)構(gòu)感知的稀疏注意力Transformer模型SASA》被頂會 SIGIR 2022錄取。論文主導(dǎo)通過引入稀疏自注意力的方式來提高Transformer模型處理長序列的效率和性能,并提出了結(jié)合代碼語言和結(jié)構(gòu)特性的面向長代碼序列的Transformer模型性能優(yōu)化方法。
SIGIR是人工智能領(lǐng)域智能信息檢索方向頂級國際會議,涉及搜索引擎、推薦系統(tǒng)等多個方向,該會議曾推動了面向搜索的排序模型、基于深度學習的推薦算法等人工智能領(lǐng)域的核心創(chuàng)新,在學術(shù)和工業(yè)界都有巨大的影響力。此次入選意味著阿里云機器學習平臺PAI自研的稀疏注意力Transformer模型達到了業(yè)界先進水平,獲得了國際學者的認可,展現(xiàn)了中國機器學習系統(tǒng)技術(shù)創(chuàng)新在國際上的競爭力。
那么SASA主要解決了什么問題?基于Transformer的模型在self-attention模塊的復(fù)雜度隨序列長度呈次方增長,多數(shù)編程預(yù)訓(xùn)練語言模型(Programming-based Pretrained Language Models, PPLM)采用序列截斷的方式處理代碼序列,從而導(dǎo)致上下文信息缺失。
針對以上問題,SASA設(shè)計了四種稀疏注意力模式,包括:sliding window attention,global attention,Top-k attention,AST-aware attention,在一定程度上將計算復(fù)雜度與序列長度解耦。其中sliding window和Top-k模式基于局部上下文和重要的attention交互學習表示,抽象語法樹(AST)模式引入代碼的結(jié)構(gòu)特性,與序列上下文信息相互補足,global attention通過與序列中所有token進行交互來獲取全局信息。對比CodeBERT,GraphCodeBERT等方法,SASA在多個長代碼任務(wù)上取得最佳效果,同時也降低了內(nèi)存和計算復(fù)雜度。
SASA技術(shù)將在開源框架EasyNLP中集成,給PAI的NLP開發(fā)者提供基于稀疏注意力機制的長序列自然語言處理能力。機器學習平臺PAI面向企業(yè)客戶級開發(fā)者,提供輕量化、高性價比的云原生機器學習,涵蓋PAI-DSW交互式建模、PAI-Designer可視化建模、PAI-DLC分布式訓(xùn)練到PAI-EAS模型在線部署的全流程。
論文信息
EasyNLP開源地址:https://github.com/alibaba/EasyNLP
論文鏈接:https://arxiv.org/abs/2205.13730
論文名字
Understanding Long Programming Languages with Structure-Aware Sparse Attention. SIGIR 2022
論文作者
劉婷婷,汪誠愚,陳岑,高明,周傲英
