搜索结果: 1-1 共查到“知识库 计算机科学技术 Transformer”相关记录1条 . 查询时间(0.039 秒)
基于重组性高斯自注意力的视觉Transformer
Transformer 局部自注意力 混合高斯权重重组 图像分类 目标检测
2023/9/26
在目前视觉Transformer的局部自注意力中,现有的策略无法建立所有窗口之间的信息流动,导致上下文语境建模能力不足.针对这个问题,基于混合高斯权重重组(Gaussian weight recombination,GWR)的策略,提出一种新的局部自注意力机制SGW-MSA(Shuffled and Gaussian window-multi-head self-attention),它融合了3种...