前言：

        寒假里
  
  
  
  
  
  
  
  
，博主完成了树莓派4B搭载yolofastest-V2的ncnn加速 
  
  
  
  
  
  
  
 ，效果挺不错的 


 


 


 


 


 


 


 


 ，但总感觉还是稍微差点意思
 
 
 
 
 
 
 
 
，于是就购买了一块香橙派5  
   
   
   
   
   
   
   
 ，想要用RK3588芯片自带的NPU来加速深度学习的部署 

 

 

 

 

 

 

 

 ，在2023年3月4日也是完成了香橙派5的NPU加速深度学习部分

 

 

 

 

 

 

 

 
，其效果也确实非常可观                ，在画质较低的情况下 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，运行速度达到了100fps以上
















，下面是我在B站发布的效果视频点我跳转
  
  
  
  
  
  
  
  
。这篇博客也是为了总结一下玩香橙派5的时候遇到的坑 
  
  
  
  
  
  
  
 。

准备材料：

        1                、香橙派5

        2  
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
 、一台windows10或windows11的电脑

        3
















、一个内部带有Ubuntu20.04的移动硬盘（如果没有                        ，也可以用VMware安装个虚拟机也行） 


 


 


 


 


 


 


 


 。

        3
  
  
  
  
  
  
  
  、USB摄像头（某宝上有卖的 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，啥都可以）用来做视频识别

        4  
  
  
  
  
  
  
  
 、64G内存卡（烧录了官方的Debian11系统）
 


 


 


 


 


 


 


 


、HDMI线
 
 
 
 
 
 
 
 、显示屏   
   
   
   
   
   
   
   
 、官方的电源线
 

 

 

 

 

 

 

 

、键鼠套装

        5

 

 

 

 

 

 

 

 、香橙派5官方提供的无线网卡（其他网卡应该也行
























，只不过当时我买了                ，即使安装了驱动也没上成网）

        6                 、散热壳（也是某宝买的 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，不是官方的）

 说明：

        关于RKNN















，官方给出了两种思路
  
  
  
  
  
  
  
  
，一种是关于C的 
  
  
  
  
  
  
  
 ，另一种是关于Python的 


 


 


 


 


 


 


 


 ，这里我只介绍Python有关部分
 
 
 
 
 
 
 
 
。

        在接下来的操作中
 
 
 
 
 
 
 
 
，一和二是在windows系统上进行操作的  
   
   
   
   
   
   
   
 ，三是在Ubuntu20.04系统上进行的 

 

 

 

 

 

 

 

 ，四是在香橙派5上操作的

 

 

 

 

 

 

 

 
，大家注意区分！！！

一
 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

、使用官方指定的yolov5版本去训练：

        不瞒大家                ，对于yolov5来说 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，博主本人在寒假之前也没用过
















，这个寒假才学会了yolov5的训练和应用                        ，在此之前 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，我甚至都不知道yolov5还分为多个版本
























，RKNN官方教程

进入教程后                ，首先点击框内链接跳转至yolov5的GitHub仓库

 博主这里跳转过后是403 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，没关系















，我们直接点击yoloV5官方库跳转至如下界面  
   
   
   
   
   
   
   
 。

 点击左上角箭头所指区域
  
  
  
  
  
  
  
  
，搜索c5360f6e7009eb4d05f14d1cc9dae0963e949213 
  
  
  
  
  
  
  
 ，跳转至如下界面 


 


 


 


 


 


 


 


 ，按顺序点击箭头所指区域

 进入如下界面后
 
 
 
 
 
 
 
 
，点击Browse file

 这样  
   
   
   
   
   
   
   
 ，我们就找到了正确的版本了

 把代码保存到本地 

 

 

 

 

 

 

 

 ，接下来

 

 

 

 

 

 

 

 
，我们点击Releases · ultralytics/yolov5 · GitHub                ，进入如下界面

 滚动滑轮大概在界面的中部位置 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，点击箭头所指区域

 进入如下界面

滑动滚轮到页面底部
















，下载我们的预训练模型yolov5s.pt

 然后就是开始我们的yolov5的简单训练了                        ，这里我参考的是这篇博客 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，这位博主写的很好
























，对小白很友好小白YOLOv5全流程-训练+实现数字识别_yolov5数字识别_牛大了2022的博客-CSDN博客

        当然了                ，我们因为选择了不同的版本 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，会出现一点小的问题















，这里我也记录了下来 

 

 

 

 

 

 

 

 。

        1















、这里一定要采用单引号
  
  
  
  
  
  
  
  
，否则就会报出这个错误ValueError: too many dimensions ‘str‘

        2                         、当出现OSError: [WinError 1455] 页面文件太小,无法完成操作 
  
  
  
  
  
  
  
 ，一般是要去给Anaconda所在的盘符分配一定的虚拟内存 


 


 


 


 


 


 


 


 ，同时把train.py里的--batch-size选项调小
 
 
 
 
 
 
 
 
，我是轻薄本  
   
   
   
   
   
   
   
 ，于是就改成了4 

 

 

 

 

 

 

 

 ，虚拟内存分配了50G

 

 

 

 

 

 

 

 
，此外                ，如果多次输出这个错误的话 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，就尽量不要用python终端去执行命令了
















，直接修改train.py里面的参数                        ，然后运行train.py

        3 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
、当出现如下错误的时候 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，不要慌张
























，可以把所有的np.int修改成np.int_即可

 4
























、如果以上错误都解决了的话                ，已经开始训练了 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，结果出现下面的错误

 这样的话















，就要进入loss.py函数
  
  
  
  
  
  
  
  
，修改两个地方 
  
  
  
  
  
  
  
 ，第一个地方：

for i in range(self.nl):

        anchors = self.anchors[i]

 改为如下所示：

for i in range(self.nl): anchors, shape = self.anchors[i], p[i].shape

第二个地方：

indices.append((b, a, gj.clamp_(0, gain[3] - 1), gi.clamp_(0, gain[2] - 1))) # image, anchor, grid

改为：

indices.append((b, a, gj.clamp_(0, shape[2] - 1), gi.clamp_(0, shape[3] - 1))) # image, anchor, grid

 以上的错误解决完了就可以训练了

 

 

 

 

 

 

 

 
。博主我啊 


 


 


 


 


 


 


 


 ，为了写这篇博客
 
 
 
 
 
 
 
 
，还把这整个操作给又弄了一遍  
   
   
   
   
   
   
   
 ，各位看在这么辛苦的份上 

 

 

 

 

 

 

 

 ，给我点个赞吧                。

二                、将训练好的best.pt转为best.onnx

        这里

 

 

 

 

 

 

 

 
，我们再次进入RKNN官方教程这里                ，按照官方提供的步骤来操作 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 。

         这一步一定要等训练完成后 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，再对export.py进行修改
















，然后我们要把得出的best.pt复制到export.py同一级文件夹下
















。

python export.py --weights best.pt --img 640 --batch 1 --include onnx

         我确实报了一大堆警告                        ，最开始我没有去管 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，后来到了转rknn的时候
























，出了个大问题

这是报的错误

WARNING: The shape inference of prim::Constant type is missing, so it may result in wrong shape inference for the exported graph. Please consider adding it in symbolic function.

         我们要到export.py文件里面                ，把--opset选项该成11 
 
  
 
  
 
  
 
  
 
  
 
  
 
  
 
  ，再次运行代码















，弹出下面的界面
  
  
  
  
  
  
  
  
，没有了上面说的警告 
  
  
  
  
  
  
  
 ，但还是会有一些警告 


 


 


 


 


 


 


 


 ，博主上网查了一些
 
 
 
 
 
 
 
 
，说是深度神经网络的网络结构太灵活  
   
   
   
   
   
   
   
 ，网络结构中出现不少if else 语句 

 

 

 

 

 

 

 

 ，需要去掉

 

 

 

 

 

 

 

 
，这个我没在意                ，后续也没出啥问题                        。

         之后 
 

 
 

 
 

 
 

 
 

 
 

 
 

 
 

 ，在export.py的同级目录下
















，就会生成best.onnx这个文件                        ，我们需要做的就是把这个文件copy到我们的Ubuntu20.04系统里面 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 ，进行处理 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 。

写不开了
























，大家可以跟着看第二篇