2021电赛F题数字识别和巡线部分

文章之前12月发了一次，但是我后来申请的免毕设后，用到了一些文字，所以删了这篇文章，但是还是查重了，于是我把一些程序讲解先删了，等毕设结束后再编辑加上。

这次电赛我没有准备多少东西，只提前准备了图像识别和坐标计算一类的。在20年的省赛帮过雪地调过k210后，自己后来为了比赛，也买了一个。参加了省物联网和交通科技比赛。

由于这边学校对竞赛支持力度不大，经费不多，所以我就用了一块k210.用它作识别和巡线其实是完全够用的。只需要写个判断分开就好。

识别这块我起初自己配的aconda和pycharm环境，不过出现各种问题，没耐下心去做(这学期课程依旧很多，而且还有别的事)。直接用了mxyolo这款软件，一键配置环境库，再加上英伟达cuda加速就可以了。

我用了总共600张图片，花了20分钟大概(我的老笔记本gtx1050，没有独显直连所以也没有出过视频了。) 对象的1650大概在10分钟出头。标记是门体力活，好在有了不错的识别效果，图片样本拍摄是在不同光线和距离情况下，最终模型识别成功率大概在80%左右，速度很快。只是，7容易识别成1,5有时候会识别成2，这是在距离不定的情况下，我想是训练数据集不够。迭代在30，loss挺低了。

在摄像头悬空情况下，正好可以识别2-3个数字。

软件图后续想起来再补吧，我突然想写文章时候发现当时并没有截图。

再说一说软件部分吧，k210我是在Maixpy下进行编写的，调用外设库非常方便，只是没有花括号的缩进，我看着很难受。

初始化程序打开了各个外设以及定义了灰度值，灰度值需要在菜单栏里的——工具——机器视觉——阈值编辑器，选择帧缓冲图像，拖动滚动条，把红线与地面的背景分隔开。红线为白，其它为黑。（麻了，我又没存图，当时只留意存了十字线和巡线的。）

import sensor,image,lcd,time
import KPU as kpu
from Maix import FPIOA, GPIO
from fpioa_manager import fm
from board import board_info
from machine import UART
from Maix import GPIO

fm.register(17, fm.fpioa.GPIO0, force=True)
s_flag = GPIO(GPIO.GPIO0, GPIO.OUT)

flag=1

GRAYSCALE_THRESHOLD = [(87, 255)]    #划分的灰度值
THRESHOLD =(10, 34, -41, 74, -109, 127)   #摄像头垂直于地面

lcd.init(freq=15000000)
sensor.reset()
sensor.set_pixformat(sensor.RGB565)
sensor.set_framesize(sensor.QVGA)
#sensor.set_hmirror(0)   #镜像
#sensor.set_vflip(1)     #翻转
lcd.rotation(2)     #旋转方向 参数是0～3, 分别代表顺时针旋转 0度 90度 180度 270度
sensor.set_windowing((224, 224))
#sensor.set_brightness(2)
sensor.run(1)
clock = time.clock()

fm.register(23,fm.fpioa.UART2_TX)
uart_A = UART(UART.UART2, 115200, 8, None, 1, timeout=1000, read_buf_len=4096)

task = kpu.load("/sd/tt.kmodel")
f=open("anchors.txt","r")
anchor_txt=f.read()
L=[]
for i in anchor_txt.split(","):
    L.append(float(i))
anchor=tuple(L)
f.close()
a = kpu.init_yolo2(task, 0.6, 0.3, 5, anchor)

f=open("lable.txt","r")
labels_txt=f.read()
labels = labels_txt.split(",")
f.close()

死循环中我是通过标志位来切换两种模式的。首先上电先进入数字识别，第一次完成后进入巡线程序。后续切换是通过另一个主控发送数据改变的。

主控那边我简单说下吧，是通过闭环加入编码器计里程和十字线辅助判断每个路口，自加是第几个路口，停下来发信号给k210，在开始数字判断。

下面程序是老版本的，少写一些通信，数字在屏幕的左右正负偏差坐标即是数字在病房路口的位置，通过这个信息去PWM差速转向。

使用的PD进行转向控制，能精确锁住中线行驶。主控我认为用什么都可以，stc12啊，stc8都可以。之前自己做亚克力小车，加升压，在智能车赛道上一圈开环也能跑个16-18秒（没有加三岔路和圆环）。

这次比赛我用的是GD32的芯片，因为便宜，他们家封装的库还是挺好用的。

 这题我选择后，第一天深夜我才确定用摄像头方案，以前没有试过巡线，凌晨3点从openmv那里速成，代码搬过来了。后续我想学学opencv。

发现这题坑真多，量很大，光靠我一个人肯定做不完，所以需要点取巧的方法。

开环直线行驶很稳定，但是到十字路口会被干扰，于是我加了判断，并且把左右两边的白色区域给忽略了，还是当作一条直线。（在主控上根据我经过的十字路口和数字进行综合判断的）

def c_line():
    s_flag.value(1) #识别到数字后17口高电平s
    img = sensor.snapshot().binary([THRESHOLD])
    lcd.display(img)

    roi0=(80, 0,30, 30)     #给识别中线的位置标上兴趣框，并画下来，验证。
    most_pixels=0
    img.draw_rectangle(roi0, color =170)
    blob0 = img.find_blobs(GRAYSCALE_THRESHOLD, roi=roi0,pixels_threshold=100, area_threshold=100, merge=True)
    if blob0:
        for n in range(len(blob0)):
        #目标区域找到的颜色块（线段块）可能不止一个，找到最大的一个，作为本区域内的目标直线
           if blob0[n].pixels() > most_pixels:
               most_pixels = blob0[n].pixels()
               #merged_blobs[i][4]是这个颜色块的像素总数，如果此颜色块像素总数大于
               largest_blob = n
           R = 1

    else:
        R = 0

    roi1=(80, 200,30, 30)
    img.draw_rectangle(roi1, color =170)
    blob1 = img.find_blobs(GRAYSCALE_THRESHOLD, roi=roi1,pixels_threshold=100, area_threshold=100, merge=True)
    if blob1:
        for n in range(len(blob1)):
           if blob1[n].pixels() > most_pixels:
               most_pixels = blob1[n].pixels()
               largest_blob = n
           L = 1

    else:
        L = 0
    uart_A.write('L')
    uart_A.write(str(L))
    uart_A.write('Z')

    uart_A.write('R')
    uart_A.write(str(R))
    uart_A.write('X')

    line=img.get_regression([(20, 250)],roi=(0,0,210,210),x_srtide=2,y_srtide=1,robust=False)  #灰度 白黑
    if(line):
        rho_err = abs(line.rho())-img.width()/2   #piancha
        #print(int(rho_err))
        uart_A.write('P')
        uart_A.write(str(int(rho_err)))
        uart_A.write('S')
        if line.theta()>90:
            theta_err = line.theta()-180
        else:
            theta_err = line.theta()
        img.draw_line(line.line(), color = 127)

        print('R',R ,'L',L)

        #print(rho_err,line.magnitude(),theta_err)

下面部分是识别数字的，比较简单，都是框架。因为比赛自己做自己用的，串口没有用到多严格的格式，只加了头尾，确保传的数正确就好。主控那边我加了语音播报病房号，也算个额外加分点，这个屡试不爽~ 

def c_num():
    global flag
    img = sensor.snapshot()
    code = kpu.run_yolo2(task, img)
    print(anchor)
    a = lcd.display(img)
    if code:
        for i in code:
            a=img.draw_rectangle(i.rect(),(0,255,0),2)
            a = lcd.display(img)
            for i in code:
                lcd.draw_string(i.x()+45, i.y()-5, labels[i.classid()]+" "+'%.2f'%i.value(), lcd.WHITE,lcd.GREEN)
                #print(labels[i.classid()])
                #print('x',i.x(),y,'i.y()')
                if(labels[i.classid()]=='1'):
                    #print('1')
                    uart_A.write('N')
                    uart_A.write('1')
                    uart_A.write('M')

                if(labels[i.classid()]==' 2'):
                    uart_A.write('N')
                    uart_A.write('2')
                    uart_A.write('M')
                if(labels[i.classid()]==' 3'):
                    uart_A.write('N')
                    uart_A.write('3')
                    uart_A.write('M')
                if(labels[i.classid()]==' 4'):
                    uart_A.write('N')
                    uart_A.write('4')
                    uart_A.write('M')
                if(labels[i.classid()]==' 5'):
                    uart_A.write('N')
                    uart_A.write('5')
                    uart_A.write('M')
                if(labels[i.classid()]==' 6'):
                    uart_A.write('N')
                    uart_A.write('6')
                    uart_A.write('M')
                if(labels[i.classid()]==' 7'):
                    uart_A.write('N')
                    uart_A.write('7')
                    uart_A.write('M')
                if(labels[i.classid()]==' 8'):
                    uart_A.write('N')
                    uart_A.write('8')
                    uart_A.write('M')


        flag=0
        s_flag.value(0)
    else:
        a = lcd.display(img)
        #uart_A.write('N')
        #uart_A.write('0')
        #uart_A.write('M')

Python我并没有好好学过，几乎没写过几次，都是临时抱佛脚，代码写的很烂。 这次没有什么详细讲解，代码直接甩出去，(不负责的我，这次写完就不想补充完善了)留给大家自己慢慢研究了。我感觉除了那个灰度图像阈值需要自己调整外，其他没有什么太大问题。

额，这次比完赛并没有完赛资料，就没有参加立创开源，少拿一份奖金，不过问题不大，我懒。

立创的奖金比学校的还要高，学校又要降奖金，因为今年拿奖的、参赛的人多了，我笑了……这学校各种恶心人的事，摆烂等我毕业答辩完再说。真不如我在一个好专科待遇好。

白嫖个便携式示波器挺好的。

继19年电赛在专科拿过一次国一后，没想到在本科这边又拿了一次。唯一一次遗憾的就是智能车了，但那个是外在因素，等完全毕业之后再谈。