人脸检测和人体检测4:C++实现人脸检测和人体检测(含源码,可实时检测)

2023-05-16

人脸检测和人体检测4:C++实现人脸检测和人体检测(含源码,可实时检测)

目录

人脸检测和人体检测4:C++实现人脸检测和人体检测(含源码,可实时检测)

1. 前言

2. 人脸检测和人体检测检测模型(YOLOv5)

(1)人脸检测和人体检测模型训练

(2)将Pytorch模型转换ONNX模型

(3)将ONNX模型转换为TNN模型

3. 人脸检测和人体检测C++端上部署

(1)项目结构

(2)配置开发环境(OpenCV+OpenCL+base-utils+TNN)

(3)部署TNN模型

(4)CMake配置

(5)main源码

(6)源码编译和运行

4. 人脸检测和人体检测效果C++版本

5. 人脸检测和人体检测效果Android版本

6. 项目源码下载


1. 前言

这是项目《人脸检测和行人检测》系列之《C++实现人脸检测和行人检测(含源码,可实时检测)》;本篇主要分享将Python训练后的YOLOv5的行人检测(人体检测)模型转写成C/C++代码。我们将开发一个简易的、可实时运行的行人检测(人体检测)C/C++ Demo。人脸检测和行人检测C/C ++版本模型推理支持CPU和GPU加速,在GPU(OpenCL)加速下,可以达到实时的检测效果,基本满足业务的性能需求。

先展示一下人脸检测和行人检测的效果:

【尊重原创,转载请注明出处】https://blog.csdn.net/guyuealian/article/details/128954638


更多项目《人脸检测和行人检测》系列文章请参考:

  1. 人脸检测和行人检测1:人脸检测和人体检测数据集(含下载链接):https://blog.csdn.net/guyuealian/article/details/128821763
  2. 行人检测(人体检测)2:YOLOv5实现人体检测(含人体检测数据集和训练代码):https://blog.csdn.net/guyuealian/article/details/128954588
  3. 行人检测(人体检测)3:Android实现人体检测(含源码,可实时人体检测):https://blog.csdn.net/guyuealian/article/details/128954615
  4. 行人检测(人体检测)4:C++实现人体检测(含源码,可实时人体检测):https://blog.csdn.net/guyuealian/article/details/128954638
  5. 人脸检测和行人检测2:YOLOv5实现人脸检测和行人检测(含数据集和训练代码):https://blog.csdn.net/guyuealian/article/details/130179987
  6. 人脸检测和行人检测3:Android实现人脸检测和行人检测(含源码,可实时检测):https://blog.csdn.net/guyuealian/article/details/130180240
  7. 人脸检测和行人检测4:C++实现人脸检测和行人检测(含源码,可实时检测):https://blog.csdn.net/guyuealian/article/details/130180269

如果需要进行人像分割,实现一键抠图效果,请参考文章:《一键抠图Portrait Matting人像抠图 (C++和Android源码)》


2. 人脸检测和人体检测检测模型(YOLOv5)

(1)人脸检测和人体检测模型训练

人脸检测和人体检测训练过程,请参考: 人脸检测和行人检测2:YOLOv5实现人脸检测和行人检测(含数据集和训练代码):https://blog.csdn.net/guyuealian/article/details/130179987

为了能部署在开发板或者手机平台上,本人对YOLOv5s进行了简单的模型轻量化,并开发了一个轻量级的版本yolov5s05_416和yolov5s05_320模型;轻量化模型在普通Android手机上可以达到实时的检测效果,CPU(4线程)约30ms左右,GPU约25ms左右 ,基本满足业务的性能需求。下表格给出yolov5s模型,轻量化模型yolov5s05_416和yolov5s05_320的计算量和参数量以及其检测精度

模型input-sizeparams(M)GFLOPs

mAP_0.5

mAP_0.5:0.95
yolov5s640×6407.216.50.984320.73693
yolov5s05416×4161.71.80.970040.50567
yolov5s05320×3201.71.10.964480.44821

(2)将Pytorch模型转换ONNX模型

训练好yolov5s模型后,你需要先将Pytorch模型转换为ONNX模型,并使用onnx-simplifier简化网络结构,Python版本的已经提供了ONNX转换脚本,终端输入命令如下:

# 转换yolov5s05模型
python export.py --weights "data/model/yolov5s05_320/weights/best.pt" --img-size 320 320

# 转换yolov5s模型
python export.py --weights "data/model/yolov5s_640/weights/best.pt" --img-size 640 640

GitHub: https://github.com/daquexian/onnx-simplifier
Install:  pip3 install onnx-simplifier 

(3)将ONNX模型转换为TNN模型

目前在C++端上,CNN模型有多种部署方式,可以采用TNN,MNN,NCNN,以及TensorRT等部署工具,鄙人采用TNN进行Android端上部署

TNN转换工具:

  • (1)将ONNX模型转换为TNN模型,请参考TNN官方说明:TNN/onnx2tnn.md at master · Tencent/TNN · GitHub
  • (2)一键转换,懒人必备:一键转换 Caffe, ONNX, TensorFlow 到 NCNN, MNN, Tengine   (可能存在版本问题,这个工具转换的TNN模型可能不兼容,建议还是自己build源码进行转换,2022年9约25日测试可用)

转换成功后,会生成两个文件(*.tnnproto和*.tnnmodel) ,下载下来后面会用到


3. 人脸检测和人体检测C++端上部署

项目IDE开发工具使用CLion,相关依赖库主要有OpenCV,base-utils以及TNN和OpenCL(可选),其中OpenCV必须安装,OpenCL用于模型加速,base-utils以及TNN已经配置好,无需安装;

项目仅在Ubuntu18.04进行测试,Windows系统下请自行配置好开发环境。

(1)项目结构

(2)配置开发环境(OpenCV+OpenCL+base-utils+TNN)

项目仅在Ubuntu18.04进行测试,Windows系统下请自行配置和编译

  • 安装OpenCV:图像处理

图像处理(如读取图片,图像裁剪等)都需要使用OpenCV库进行处理

安装教程:Ubuntu18.04安装opencv和opencv_contrib_AI吃大瓜的博客-CSDN博客_opencv opencv_contrib ubuntu

OpenCV库使用opencv-4.3.0版本,opencv_contrib库暂时未使用,可不安装

  • 安装OpenCL:模型加速

 安装教程:Ubuntu16.04 安装OpenCV&OpenCL_xiaozl_284的博客-CSDN博客_clinfo源码下载

OpenCL用于模型GPU加速,若不使用OpenCL进行模型推理加速,纯C++推理模型,速度会特别特别慢

  • base-utils:C++库

GitHub:https://github.com/PanJinquan/base-utils (无需安装,项目已经配置了)

base_utils是个人开发常用的C++库,集成了C/C++ OpenCV等常用的算法

  • TNN:模型推理

GitHub:https://github.com/Tencent/TNN (无需安装,项目已经配置了)

由腾讯优图实验室开源的高性能、轻量级神经网络推理框架,同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势。TNN框架在原有Rapidnet、ncnn框架的基础上进一步加强了移动端设备的支持以及性能优化,同时借鉴了业界主流开源框架高性能和良好拓展性的特性,拓展了对于后台X86, NV GPU的支持。手机端 TNN已经在手机QQ、微视、P图等众多应用中落地,服务端TNN作为腾讯云AI基础加速框架已为众多业务落地提供加速支持。

(3)部署TNN模型

项目模型推理采用TNN部署框架(支持多线程CPU和GPU加速推理);图像处理采用OpenCV库,模型加速采用OpenCL,在普通电脑设备即可达到实时处理。

如果你想在这个 C++ Demo部署你自己训练的人脸检测和人体检测模型,你可以将训练好的Pytorch模型转换ONNX ,再转换成TNN模型,然后把原始的模型替换成你自己的TNN模型即可。

(4)CMake配置

这是CMakeLists.txt,其中主要配置OpenCV+OpenCL+base-utils+TNN这四个库,Windows系统下请自行配置和编译

cmake_minimum_required(VERSION 3.5)
project(Detector)

add_compile_options(-fPIC) # fix Bug: can not be used when making a shared object
set(CMAKE_CXX_FLAGS "-Wall -std=c++11 -pthread")
#set(CMAKE_CXX_FLAGS_RELEASE "-O2 -DNDEBUG")
#set(CMAKE_CXX_FLAGS_DEBUG "-g")

if (NOT CMAKE_BUILD_TYPE AND NOT CMAKE_CONFIGURATION_TYPES)
    # -DCMAKE_BUILD_TYPE=Debug
    # -DCMAKE_BUILD_TYPE=Release
    message(STATUS "No build type selected, default to Release")
    set(CMAKE_BUILD_TYPE "Release" CACHE STRING "Build type (default Debug)" FORCE)
endif ()

# opencv set
find_package(OpenCV REQUIRED)
include_directories(${OpenCV_INCLUDE_DIRS} ./src/)
#MESSAGE(STATUS "OpenCV_INCLUDE_DIRS = ${OpenCV_INCLUDE_DIRS}")

# base_utils
set(BASE_ROOT 3rdparty/base-utils) # 设置base-utils所在的根目录
add_subdirectory(${BASE_ROOT}/base_utils/ base_build) # 添加子目录到build中
include_directories(${BASE_ROOT}/base_utils/include)
include_directories(${BASE_ROOT}/base_utils/src)
MESSAGE(STATUS "BASE_ROOT = ${BASE_ROOT}")


# TNN set
# Creates and names a library, sets it as either STATIC
# or SHARED, and provides the relative paths to its source code.
# You can define multiple libraries, and CMake builds it for you.
# Gradle automatically packages shared libraries with your APK.
# build for platform
# set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)
if (CMAKE_SYSTEM_NAME MATCHES "Android")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_ARM_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_BUILD_SHARED OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    #set(TNN_HUAWEI_NPU_ENABLE OFF CACHE BOOL "" FORCE)
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DTNN_ARM_ENABLE)              # for Android CPU
    add_definitions(-DDEBUG_ANDROID_ON)            # for Android Log
    add_definitions(-DPLATFORM_ANDROID)
elseif (CMAKE_SYSTEM_NAME MATCHES "Linux")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_LINUX)
elseif (CMAKE_SYSTEM_NAME MATCHES "Windows")
    set(TNN_OPENCL_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_CPU_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_X86_ENABLE ON CACHE BOOL "" FORCE)
    set(TNN_QUANTIZATION_ENABLE OFF CACHE BOOL "" FORCE)
    set(TNN_OPENMP_ENABLE ON CACHE BOOL "" FORCE)  # Multi-Thread
    add_definitions(-DTNN_OPENCL_ENABLE)           # for OpenCL GPU
    add_definitions(-DDEBUG_ON)                    # for WIN/Linux Log
    add_definitions(-DDEBUG_LOG_ON)                # for WIN/Linux Log
    add_definitions(-DDEBUG_IMSHOW_OFF)            # for OpenCV show
    add_definitions(-DPLATFORM_WINDOWS)
endif ()
set(TNN_ROOT 3rdparty/TNN)
include_directories(${TNN_ROOT}/include)
include_directories(${TNN_ROOT}/third_party/opencl/include)
add_subdirectory(${TNN_ROOT}) # 添加外部项目文件夹
set(TNN -Wl,--whole-archive TNN -Wl,--no-whole-archive)# set TNN library
MESSAGE(STATUS "TNN_ROOT = ${TNN_ROOT}")


# Detector
include_directories(src)
set(SRC_LIST
        src/yolov5.cpp
        src/Interpreter.cpp)
add_library(dmcv SHARED ${SRC_LIST})
target_link_libraries(dmcv ${OpenCV_LIBS} base_utils)
MESSAGE(STATUS "DIR_SRCS = ${SRC_LIST}")

#add_executable(Detector src/main.cpp)
#add_executable(Detector src/main_for_detect.cpp)
add_executable(Detector src/main_for_yolov5.cpp)
target_link_libraries(Detector dmcv ${TNN} -lpthread)


(5)main源码

主程序src/main_for_yolov5.cpp中提供行人脸检测和人体检测的Demo:

//
// Created by Pan on 2018/6/24.
//

#include <iostream>
#include <string>
#include <vector>
#include "file_utils.h"
#include "yolov5.h"

using namespace dl;
using namespace vision;
using namespace std;


void test_yolov5_detector() {
    const int num_thread = 1;
    DeviceType device = GPU; // 使用GPU运行,需要配置好OpenCL
    //DeviceType device = CPU; // 使用CPU运行

    // 测试YOLOv5s_640
    string proto_file = "../data/tnn/yolov5/yolov5s_640.sim.tnnproto";
    string model_file = "../data/tnn/yolov5/yolov5s_640.sim.tnnmodel";
    YOLOv5Param model_param = YOLOv5s_640;//模型参数

    // 测试YOLOv5s05_416
    //string proto_file = "../data/tnn/yolov5/yolov5s05_416.sim.tnnproto";
    //string model_file = "../data/tnn/yolov5/yolov5s05_416.sim.tnnmodel";
    //YOLOv5Param model_param = YOLOv5s05_416;//模型参数

    // 测试YOLOv5s05_320
    //string proto_file = "../data/tnn/yolov5/yolov5s05_320.sim.tnnproto";
    //string model_file = "../data/tnn/yolov5/yolov5s05_320.sim.tnnmodel";
    //YOLOv5Param model_param = YOLOv5s05_320;//模型参数

    // 设置检测阈值
    const float scoreThresh = 0.3;
    const float iouThresh = 0.5;
    YOLOv5 *detector = new YOLOv5(model_file,
                                  proto_file,
                                  model_param,
                                  num_thread,
                                  device);

    // 测试图片
    string image_dir = "../data/test_image";
    vector<string> image_list = get_files_list(image_dir);
    for (string image_path:image_list) {
        cv::Mat bgr_image = cv::imread(image_path);
        if (bgr_image.empty()) continue;
        FrameInfo resultInfo;
        printf("init frame\n");
        // 开始检测
        detector->detect(bgr_image, &resultInfo, scoreThresh, iouThresh);
        // 可视化代码
        detector->visualizeResult(bgr_image, &resultInfo);
    }
    delete detector;
    detector = nullptr;
    printf("FINISHED.\n");

}

int main() {
    test_yolov5_detector();
    return 0;
}

(6)源码编译和运行

编译脚本,或者直接:bash build.sh

#!/usr/bin/env bash
if [ ! -d "build/" ];then
  mkdir "build"
else
  echo "exist build"
fi
cd build
cmake ..
make -j4
sleep 1
./demo

  • 如果你要测试CPU运行的性能,请修改src/main_for_yolov5.cpp

DeviceType device = CPU;

  • 如果你要测试GPU运行的性能,请修改src/main_for_yolov5.cpp (需配置好OpenCL) 

DeviceType device = GPU; //默认使用GPU

下面截图给出开启OpenCL加速的性能对比截图,纯C++推理模式需要耗时几秒的时间,而开启OpenCL加速后,GPU模式耗时仅需十几毫秒,性能极大的提高。

CPU
GPU

4. 人脸检测和人体检测效果C++版本

下图给出C++版本行人检测(人体检测)效果:

 下图GIF这是Python版本的人脸检测和人体检测效果,C++版本与Python版本的结果几乎是一致


5. 人脸检测和人体检测效果Android版本

已经完成Android版本人脸检测和行人检测算法开发,APP在普通Android手机上可以达到实时的检测和识别效果,CPU(4线程)约30ms左右,GPU约25ms左右 ,基本满足业务的性能需求。详细说明请查看:人脸检测和行人检测3:Android实现人脸检测和行人检测(含源码,可实时检测):https://blog.csdn.net/guyuealian/article/details/130180240

 Android人脸检测和行人检测APP Demo体验:https://download.csdn.net/download/guyuealian/87732863

    


6. 项目源码下载

人脸检测和人体检测C/C++源码下载】

整套项目源码内容包含:人脸检测和人体检测4:C++实现人脸检测和人体检测(含源码,可实时检测)

  1. 项目提供YOLOv5行人脸检测和人体检测模型:包含yolov5s模型,轻量化模型yolov5s05_416和yolov5s05_320三个人脸检测和人体检测模型;在普通手机可实时检测识别,CPU(4线程)约30ms左右,GPU约25ms左右;包含高精度版本yolov5s人脸检测和人体检测模型,CPU(4线程)约250ms左右,GPU约100ms左右
  2. 项目C++源码支持CPU和GPU运行,GPU模型加速需要配置好OpenCL,否则速度很慢
  3. 项目源码不含Python训练代码和Android源码;

如果你想体验一下人脸检测和人体检测效果,可下载Android版本进行测试,Android和C++版本的人脸检测和人体检测核心算法是一样的

  1.  人脸检测和人体检测Python训练,请参考:人脸检测和行人检测2:YOLOv5实现人脸检测和行人检测(含数据集和训练代码):https://blog.csdn.net/guyuealian/article/details/130179987

  2. 人脸检测和人体检测Android部署,请参考:人脸检测和行人检测3:Android实现人脸检测和行人检测(含源码,可实时检测):https://blog.csdn.net/guyuealian/article/details/130180240

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

人脸检测和人体检测4:C++实现人脸检测和人体检测(含源码,可实时检测) 的相关文章

  • 在TUMVI数据集上测试VINS-Fusion算法

    VINS Fusion算法是一个非常优秀的视觉惯性里程计 但原版VINS Fusion并没有提供与TUM数据集相应的配置文件 因此需要自己进行写yaml文件 修改配置文件 tum mono yaml span class token dir
  • SLAM中的三角测量

    来源 视觉SLAM十四讲 xff0c 作者 高翔 三角测量是SLAM中 xff0c 利用相机运动估计特征点空间位置的过程 本节旨在解决以下问题 xff1a 三角测量的概念三角测量的过程及代码实现 xff1b 三角测量有哪些不确定性如何提高三
  • SLAM 岗位求职与简历书写

    本文学习自B站计算机视觉Life的如何写简历 当前求职背景怎么样 2019计算机直觉算法岗的求职情况为 xff1a 候选人数很多 xff0c 优秀者极少找工作不仅需要实力 xff0c 也需要运气 原因 贸易战影响 xff1a 华为 海康 大
  • SLAM中的后端优化

    本节介绍SLAM中的后端优化过程 一 问题阐述 同时对三维点位置和相机参数进行非线性优化 二 LM法的原理与优势 原理 xff1a 是一种 信赖域 的方法 xff0c 当收敛速度较快时 xff0c 增大信赖域使算法趋向于高斯牛顿法 xff1
  • 运动一致性判断

    直至以来 xff0c SLAM的研究共朝着三个方向努力 xff1a 精度 速度 鲁棒性 尤以鲁棒性居多 通常动态场景中 xff0c 根据IMU测量值与视觉测量值分别进行计算得到的结果会有所不同 因此需要进行一致性的检测 xff0c 以得到真
  • 使用evo工具评测SLAM

    evo是一款用于视觉里程计和slam问题的轨迹评估工具 核心功能是能够绘制相机的轨迹 xff0c 或评估估计轨迹与真值的误差 支持多种数据集的轨迹格式 xff08 TUM KITTI EuRoC MAV ROS的bag xff09 xff0
  • 用VS Code写C语言无法使用`__attribute__(packed)`

    今天 xff0c 在Windows上写C语言程序 xff0c 结果编写的结构体总是无法使用 attribute packed xff0c 导致读取的二进制文件字节对不上 检查CMakeLists txt和代码均没有发现明显错误 typede
  • CURL 基于命令行的浏览器

    CURL 嗯 xff0c 说来话长了 这东西现在已经是苹果机上内置的命令行工具之一了 xff0c 可见其魅力之一斑 1 二话不说 xff0c 先从这里开始吧 xff01 curl http www yahoo com 回车之后 xff0c
  • STM32F429入门(二)

    开始学习嵌入式的第二天 xff0c 发现昨天学习的东西有些遗漏 xff0c 今天要做个补充 x1f60e 那么就从寄存器那一块开始补学吧 xff0c 昨天没有那么仔细地去学习这个知识 xff08 一 xff09 学会看丝印 xff1a 如果
  • VSCode中如何让终端默认在当前文件的路径启动

    VSCode中如何让终端默认在当前文件的路径启动 1 只改变当前工作区的设置2 改变所有打开工程的设置 经常使用VSCode运行调试文件 xff0c 又不想每次都手动cd目录的话 xff0c 可以通过修改设置让终端默认在当前文件的路径启动
  • emWin - Movie篇

    STemWin版本 xff1a 544 xff08 ST购买了emWin的license xff0c 可以在ST芯片中使用emWin工具包 xff0c 就叫STemWin xff09 emWin开发工具包可以转换JPG BMP GIF等各种
  • 芯片端子的多路复用

    嵌入式软件的开发 xff0c 经常要和芯片打交道 xff0c 和个人电脑的通用平台的CPU使用X86或X64架构不同 xff0c 嵌入式电子产品使用的主控芯片是各种各样的 xff0c 从8051单片机 xff0c 到ARM Cortex M
  • 小说三要素和六要素

    小说是以刻画人物为中心 xff0c 通过完整的故事情节和具体的环境描写反映社会生活的一种文学体裁 或通过情节的展开和环境的渲染反映社会生活的一种文学体裁 小说有三个要素 xff1a 人物形象 故事情节 典型环境 xff08 自然环境和社会环
  • POV写作手法

    POV xff08 Point of View xff09 xff0c 一种写作手法 xff0c 即 视点人物写作手法 xff0c 在叙述同一件事可以自由选取最丰厚的角度 xff0c 大大加强了叙述的灵活性 xff0c 在讲述故事的同时作者
  • 工具说明书 - 搜索引擎推荐

    Yandex 俄罗斯人用的多 Yet Another Indexer 34 xff08 另一个索引 xff09 把定位改到美国 xff0c 再把搜索设置为无限制 www yandex com CC Search 查一些版权免费的图片和音视频
  • 嵌入式 - 在嵌入式软件开发中使用stdint.h头文件

    在嵌入式系统软件开发上 xff0c 对不同的平台 xff0c 其每个机器字长都可能不同 在这个硬件平台上使用int xff0c 可能是4个字节 xff0c 你做一个很大整数的运算也没问题 但换个硬件平台 xff0c int可能变成了2个字节
  • 编程参考 - C语言中将字符串转换为整数

    C语言 xff0c 主要有两种方法可以将字符串转为整数 xff1a atoi 和 strtol 1 xff0c atoi Syntax int atoi const char str 包含的头文件是 xff1a stdlib h 给定字符串
  • 工具及方法 - Excel插件XLTools

    立即开始使用XLTools XLTools是一个功能强大的Excel插件 xff0c 专为商业用户设计 它将帮助您在Excel中更快 更容易地准备数据 跟踪变化和实现任务自动化 无论您是刚刚开始免费试用还是购买了终身许可证 xff0c 本介
  • Linux - Ubuntu里安装Python的包

    在Ubuntu中 xff0c apt install python xff0c 默认是安装python2 要安装python3 要使用apt install python3 安装后运行python python2 xff0c 调用的都是py
  • CURL访问HTTPS证书登录

    curl cacert test crt https abc com test crt指服务端公钥 若服务端要求客户端认证 xff0c 需要将pfx证书转换成pem格式 openssl pkcs12 clcerts nokeys in ce

随机推荐