九游会国际站--首页直达

九游会国际站--首页直达

首页 >> 探究发明 >> 科研停顿 >> 注释
纪荣嵘传授团队提出CPU友爱的神经网络模子新设计
公布工夫:2022年08月02日 泉源:科技处

克日,国际顶级学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)吸收了湖南九游会教诲信息学院纪荣嵘传授团队的最新研讨效果“1xN Pattern for Pruning Convolutional Neural Networks”。TPAMI是盘算机学科范畴最顶级的国际期刊,其影响因子24.314。

比年来,深度神经网络(Deep Neural Networks, DNN)的参数目(Parameters)与浮点盘算量(FLOPs)不停增加,这使得在盘算才能有限的边沿设置装备摆设上摆设DNN成为难。因而,经过参数剪枝来低落网络的摆设难度,是学界与产业界的一个共鸣。现有的剪枝办法通常可以分别为权重剪枝与滤波器剪枝。但是,这两种办法都存在肯定缺陷。权重剪枝以单个权重为剪枝单元,形成不规矩的希罕布局,这使得内存总线的使用很差,终极即便剪枝率很高,速率增益也非常有限。滤波器剪枝以单个卷积核为剪枝单元,其不会改动网络的底子布局,因而可以在现有硬件与盘算库下间接取得减速结果。但相较于权重剪枝,滤波器剪枝会带来更严峻的功能丧失,这招致其只能在低剪枝率下举行。因而,在边沿设置装备摆设上坚持功能的同时并完成减速是一个具有应战性的题目。

针对这个应战,日前,湖南九游会教诲纪荣嵘团队在TPAMI 2022上宣布了“1xN Pattern for Pruning Convolutional Neural Networks”,初次提出了一种剪枝粒度介于权重剪枝与滤波器剪枝之间的新型剪枝,其根本剪枝单位是相反输出通道下一连N个输入核构成的块,并在剪枝之前对参数举行重分列,以进一步提拔剪枝后模子的功能。该形式的剪枝模子可以被以后的CPU内置的指令所支持完成并行的矢量化运算,完成硬件减速。

该论文由我校信息学院媒体剖析与盘算实行室的博士生林明宝、硕士生张玉鑫、李与超、陈柏宏、纪荣嵘传授(通讯作者)、晁飞副传授、北京大学田永鸿传授等互助完成。该论文也是纪荣嵘传授团队两年内的第7篇TPAMI文章,系列研讨效果的公布标记着我校在信息学科人工智能研讨范畴影响力的渐渐提拔。本项研讨失掉了包罗国度出色青年迷信基金在内的项目标支持。

(信息学院)

【征询公司】