新加坡联合早报中文网即时报道亚洲和国际的评论、商业、体育、生活、科技与多媒体新闻,从世界各个维度报道世界经济新闻,时政新闻,突发新闻等。

当前位置:主页 > 新闻 > 如何用FPGA加速卷积神经网络(CNN)?

如何用FPGA加速卷积神经网络(CNN)?

来源:联合早报中文网作者:邵湖心更新时间:2020-08-31 13:52:06阅读:

本篇文章1580字,读完约4分钟

雷锋。(公开号码:雷锋。本文来源于王天琦在《如何用fpga加速卷积神经网络》一文中提出的问题。],雷锋的人工智能技术评论被授权转发。

以下内容主要引自Xi邮电大学李涛老师关于连接智能和符号智能的报告,以及华硕于飞马在fpl2016上的文章和幻灯片

fpga上卷积神经网络的可扩展模块化rtl编译

地址:fpl2016/slides/s5b_1.pdf

建议阅读原文

我在计算加速度方面做了一些工作。就我个人而言,我觉得首先需要考虑几个问题:什么样的应用需要加速,应用的瓶颈是什么,然后根据前面的工作选择合适的方案。

过早地沉迷于fpga的技术细节(hdl或hls、芯片和接口)使得只看到树木而看不到森林变得容易。目前,软件定义网络/flash/XXX已经成为大势所趋。当我宣布小组会议开始时,我和我的同志们谈了谈。算法是轮廓,轮廓是开放的;软件是妈妈,软件是爸爸,软件比基金会委员会更亲密。因此,建议先看看cnn的算法,拿一些开源代码来运行经典的例子(lenet,alexnet等),看看输入和输出,找出算法。

如何用FPGA加速卷积神经网络(CNN)?

例如,下面是一个cpp和opencl的实现

nachiket/papa-open cl

地址:github/nachiket/papa-open cl

下图来自于飞·马的幻灯片

可以看出,cnn算法主要由conv、汇集、范数等组成。工作时,输入图像和权重,最终得到预测结果。

接下来,使用profiler(例如perf)来分析软件算法,并寻找热点和性能瓶颈。cnn最耗时的事情是conv二维卷积。性能瓶颈主要在于卷积时需要大量的乘法和加法运算,计算中涉及的大量权重参数会带来大量的内存访问请求。

接下来,我们调查了以前的工作和当前的灌溉热点。dsp应该适合如此大量的乘法和加法运算,这是理所当然的,但在美国有线电视新闻网,人们不需要这么大的位宽,有时8位就足够了。dsp使用32/64位乘法器和加法器是一种浪费。所以每个人都开始减少位宽,并堆积几个算术单位。面对大量的内存访问请求,每个人都开始设计各种棘手的缓存。

如何用FPGA加速卷积神经网络(CNN)?

这里有一些给每个人的灌溉指南

还有以下硬件设计

有人根据dsp风格设计了加速器

Ceva还为cnn发布了一系列ip

有人使用脉动数组或数据流样式

有人设计了一种特殊的芯片,比如坎布里克

还有你提到的fpga

当一切都到了硬件层面,可用的手段实际上是有限的。无非是堆积资源和削减水资源。或者做一些位级技巧,如乘法器改变查找表等。这些技能在二十年前的许多dsp教科书中都有描述,所以就用它们吧。例如,这本书在测试前是有效的。

如何用FPGA加速卷积神经网络(CNN)?

超大规模集成电路数字信号处理系统keshab的设计与实现

典型的fpga实现可以参考于飞·马的文章,无论是conv还是池化,根据葫芦画设计数据路径,切割流程,然后考虑状态机和控制信号。这取决于每个人的基本技能。

例如,下图所示的conv模块,主要是用一堆乘法器和加法器树来建立数据路径,切断自来水,然后添加控制信号。

共享也是相似的

还有诺姆

最后,通过路由器将这些模块连接起来,并在外面套一层控制模块,密封为ip。

剩下的就是集成到你的系统中(microblaze、nios或arm,配备dma,并编写填充数据的驱动程序,所有这些都有自己的方式)。建议在rtl之前写好文件,并在端口、注册和软件api上达成一致,否则在写的时候很容易混淆。

总的来说,有线电视新闻网的应用程序管道控制比中央处理器简单。不写cpu的危害是很烦人的,而且它不需要写汇编程序或任何东西。很难把一个太大的有线电视新闻网放在fpga上,也很难进行创新,但是写一个能在fpga上使用的lenet级别的有线电视新闻网是相当容易的。最后,您可以根据惯例比较cpu的性能和gpu的功耗。

如何用FPGA加速卷积神经网络(CNN)?

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。

标题:如何用FPGA加速卷积神经网络(CNN)?

地址:http://www.6st8.com/zbxw/4566.html

免责声明:联合早报中文网从世界各个维度报道世界经济新闻,时政新闻,突发新闻等,本篇的部分内容来自于网络,不为其真实性负责,只为传播网络信息为目的,非商业用途,如有异议请及时联系btr2018@163.com,联合早报中文网的小编将予以删除。

返回顶部