欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Python列表切片中的None

程序员文章站 2022-06-03 08:38:16
...

None起到增加维度的作用

def calc_mask_score(self, attention_mask):
        '''
        input: [b,n]
        output: [b,h,n,n]
        '''
        mask_score = torch.zeros(attention_mask.size(0),self.nums_heads,attention_mask.size(1),attention_mask.size(1)) # [b,h,n,n]
        mask_score = mask_score + attention_mask[:,None,None,:] # [b,n] => [b,h,n,n]
        mask_score = (1.0 - mask_score) * -10000.
        return mask_score