科研之友
微信
新浪微博
Facebook
分享链接
摘要
本发明提供了一种基于偏移对角矩阵的Transformer加速器,包括顶层控制模块、片上缓存模块、运算阵列和非线性函数单元；片上缓存模块用于存储输入数据、权重矩阵、运算中间结果和输出矩阵；权重矩阵采用偏移对角矩阵方式存储在片上缓存模块中；偏移对角矩阵包括非零值和偏移量；运算阵列用于从片上缓存模块读取输入数据和权重矩阵进行矩阵乘加运算；在运算阵列进行矩阵乘加运算时,运算阵列同时读取偏移对角矩阵非零值和偏移量,按照偏移量对非零值进行运算分配；非线性函数单元用于对输出矩阵进行非线性函数计算。该加速器可满足基于偏移对角结构化稀疏矩阵的Transformer模型加速,数据复用率高,负载均衡以及索引开销小。
- 单位
