KCF_ROS + TLD_ROS 原理以及源码分析

扩展链接：百度搜素vot2016，会有相关的资料。
KCF缺点是有边界效应
有一个改进的版本是：SRDCF
大牛的 CSDN博客。说明：http://blog.csdn.net/app_12062011/article/details/52230009
原来大神早就写了源码解析：http://blog.csdn.net/app_12062011/article/details/52277159
这个地方有大神的论文的源码，所有的关于vot2016的源码
目标跟踪之GOTURN：Learning to Track at 100 FPS with Deep Regression Networks
http://blog.csdn.net/linolzhang/article/details/72354427

目标跟踪之相关滤波：CF及后续改进篇
http://blog.csdn.net/linolzhang/article/details/72759918

目标跟踪之ECO：Efficient Convolution Operators for Tracking
http://blog.csdn.net/linolzhang/article/details/72824753

我参考这个博客切换opencv的
http://blog.csdn.net/haizimin/article/details/51927386

代码结构：

turtlebot_cf_tracking
    -src
        -main
            -image_acquisition.cpp
            -image_acquistion.hpp
            -main_kcf.cpp
        -cf_libs
            -common
                cf_track.hpp
                cv_ext.hpp
                feature_channels.hpp
                mat_const.hpp
                math_helper.hpp
                math_helper.hpp
                scale_estimator.hpp
                tracker_debug.hpp
            -kcf
                kcf_tracker.hpp
                kcf_debug.hpp
            -3rdparty
                cv_ext
                piotr
                tclap
    follower
        follower.cpp

在follower.cpp当中，主要分析

最重要的就是这里。最后一个transform_callback是一个回调函数。通过前面产生的BoundingBox

ros::Subscriber tld_msg_sub = m.subscribe("BoundingBox", 1000, transform_callback);

有价值的部分就是这里

void transform_callback(const turtlebot_cf_tracking::BoundingBox& msg)
{
ROS_INFO("transform_callback start! ");
ROS_INFO("bool enable_obs_avoid_ in function transform_callback(): %d", enable_obs_avoid_);
ros::Rate loop_rate(10);//loop_rate(10)可以控制while(ros:ok()的循环频率
if (!enable_obs_avoid_)
{
    ROS_INFO("tracking control program start!");
    int x = msg.x;
    int y = msg.y;
    int width = msg.width;
    int height = msg.height;
    ROS_INFO("x,y,width,height:%d %d %d %d",x,y,width,height);
  //  ROS_INFO("turtlebot tracking control message count: %d",count);

    BB_info.centerX = x+width/2;
    BB_info.centerY = y-height/2;//由于turtleBot不能在三维平面移动，centerY在这里实际上没有起作用
    BB_info.area = width * height;   
  //  ROS_INFO("transformat successs!") ;
    /*发布turtleBot控制消息*/
    geometry_msgs::Twist twist;
    twist.linear.x = msg.controlSpeed; twist.linear.y = 0; twist.linear.z = 0;
    twist.angular.x = 0; twist.angular.y = 0; twist.angular.z = msg.controlTurn;
    pub.publish(twist);
    //ros::spinOnce();
  //  loop_rate.sleep();
    ROS_INFO("Publish turtlebot control message sucess!");
  //  }
}

我觉得启动的顺序应该是：先运行KCF的node。随后再运行follow.cpp。

随后我们查看关于cmake中KCF的节点状况

add_executable(KCFcpp
    src/main/main_kcf.cpp
    src/cf_libs/kcf/kcf_debug.hpp
    src/cf_libs/kcf/kcf_tracker.hpp
    ${CF_MAIN_SOURCES}
    ${CF_LIB_COMMON_SOURCES})
target_link_libraries(KCFcpp ${OpenCV_LIBS} ${catkin_LIBRARIES})

主要就是main_kcf.cpp kcf_debug.hpp kcf_tracker.hpp和src lib里面的东西。

---

重新系统安装过程
1、Ubuntu14.04.5安装之后
2、ROS 安装
3、安装opencv3.1
注意事项
安装参考博客http://blog.csdn.net/junmuzi/article/details/49888123

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..  

将组合算法的包和kcf_follower
下面出现的这个问题的，是你讲kcf_ros 和另外的 组合算法那包放在同一个工作空间中编译导致cmake 错误，解决办法就是把原来的那个包删掉，就可以了。只留个你要用的包

CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library
  "/opt/ros/indigo/lib/librosconsole_backend_interface.so" to target "KCFcpp"
  which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/usr/lib/liblog4cxx.so" to target "KCFcpp"
  which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/usr/lib/x86_64-linux-gnu/libboost_regex.so"
  to target "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/opt/ros/indigo/lib/libxmlrpcpp.so" to target
  "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library
  "/opt/ros/indigo/lib/libroscpp_serialization.so" to target "KCFcpp" which
  is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/opt/ros/indigo/lib/librostime.so" to target
  "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library
  "/usr/lib/x86_64-linux-gnu/libboost_date_time.so" to target "KCFcpp" which
  is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/opt/ros/indigo/lib/libcpp_common.so" to
  target "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/usr/lib/x86_64-linux-gnu/libboost_system.so"
  to target "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/usr/lib/x86_64-linux-gnu/libboost_thread.so"
  to target "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library "/usr/lib/x86_64-linux-gnu/libpthread.so" to
  target "KCFcpp" which is not built in this directory.


CMake Error at kcf_tracking_ros/turtlebot_cf_tracking/CMakeLists.txt:154 (target_link_libraries):
  Attempt to add link library
  "/usr/lib/x86_64-linux-gnu/libconsole_bridge.so" to target "KCFcpp" which
  is not built in this directory.


-- Configuring incomplete, errors occurred!
See also "/home/jemma_zhou/catkin_ws/build/CMakeFiles/CMakeOutput.log".
See also "/home/jemma_zhou/catkin_ws/build/CMakeFiles/CMakeError.log".

你可以直接把包下载下来就直接运行了，但是我想说这是错误的做法。
因为这个launch文件当中有一个freenect 然后就会导致，相当于有两个openni.这么不就崩了。
所以不光要改一下话题的映射，还需要改一下你启动的launch问价。

process[camera_rgb_frame_tf-5]: started with pid [7726]
[ERROR] [1380277981.435323719]: Failed to load nodelet [/rgbd_image_proc] of type [ccny_rgbd/RGBDImageProcNodelet]: Could not find library corresponding to plugin ccny_rgbd/RGBDImageProcNodelet. Make sure the plugin description XML file has the correct name of the library and that the library actually exists.
[FATAL] [1380277981.435695830]: Service call failed!
process[camera_rgb_optical_frame_tf-6]: started with pid [7738]
[FATAL] [1380277981.446783568]: Service call failed!
[FATAL] [1380277981.447004115]: Service call failed!
[openni_driver-2] process has died [pid 7651, exit code 255, cmd /opt/ros/groovy/lib/nodelet/nodelet load openni_camera/driver rgbd_manager ir:=camera/ir rgb:=camera/rgb depth:=camera/depth __name:=openni_driver __log:=/home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/openni_driver-2.log].
log file: /home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/openni_driver-2*.log
[debayer-3] process has died [pid 7675, exit code 255, cmd /opt/ros/groovy/lib/nodelet/nodelet load image_proc/debayer rgbd_manager image_raw:=/camera/rgb/image_raw image_color:=/camera/rgb/image_color __name:=debayer __log:=/home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/debayer-3.log].
log file: /home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/debayer-3*.log
[rgbd_image_proc-4] process has died [pid 7708, exit code 255, cmd /opt/ros/groovy/lib/nodelet/nodelet load ccny_rgbd/RGBDImageProcNodelet rgbd_manager __name:=rgbd_image_proc __log:=/home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/rgbd_image_proc-4.log].
log file: /home/dina/.ros/log/f9767520-275c-11e3-b82a-e006e61ca148/rgbd_image_proc-4*.log

基本上用release版本都是可以通的，我已经改过cmakelist

---

作者在上面也提供了cmake 编译的版本，他的目录是：

---

KCF_ros理论参考博客：

http://www.cnblogs.com/YiXiaoZhou/p/5925019.html
http://blog.csdn.net/shenxiaolu1984/article/details/50905283

调试的过程，
首先确保你安装了opencv3.0.如果你安装opencv3.2 或者3.1 或者2.4建议都吧opencv先卸载掉。
卸载推荐博客
blog.csdn.net/xulingqiangac/article/details/52496701
卸载之后，重新安装opencv 简单来说就是

mkdir build
cd build
cmake ..
make -j8
sudo make install

然后 下载张子洋的PKGhttps://github.com/sunzuolei/kcf_tracking_ros
然后 放到你的工作空间 catkin_make
这个时候，会报错，说没有cv_bridge.
https://www.baidu.com/link?url=jafijzMLiJlDrJqh6CuvrAojetRloaqWpSeD9zGFfc9Y7Iq-z_rwjkIH8ARHEc5A&wd=&eqid=997421330004232300000002591f1496
去roswiki上面找到cv_bridge，然后放到你的工作空间中，一边编译 就过了。
然后就是该一些话题的映射

需要修改的地方：

image_transport::ImageTransport it(nh); 
  image_transport::Subscriber sub_rgb= it.subscribe("/camera/rgb/image_raw", 1, rgbimageCallback);
image_transport::Subscriber sub_depth = it.subscribe("/camera/depth/image_raw", 1, depthimageCallback);

这里深度的最小距离是65cm.最大的深度值80

int depthmini = 650000;
int depthmax = 800000;

msg.z>depthmax
那么就发速度为+
msg.z<depthmin
那就发速度为-
中间部分
就发速度为0

launch文件修改如下：

<launch>  
  <!--  Load turtlebot follower into the 3d sensors nodelet manager to avoid pointcloud serializing -->
    <node pkg="follower" type="follower" name="follower">
    </node>
</launch>

follower.cpp文件的修改如下

pub = m.advertise<geometry_msgs::Twist>("cmd_vel", 1000);

基本上就是这么修改。
在运行rosrun turlebot_cf_tracking KCFcpp的时候，出现下面这个报错是，正常的。

为了方便大家检索，我就这条报错信息贴出来

(Draw Bounding Box:29410): GLib-GObject-CRITICAL **: g_object_unref: assertion '

正常情况下，会弹出三个框。其中KCFcpp这个框是黑色的。还有一个Draw Bounding Box的框，这个框是和TLD一样就是要进行选框。然后就是深度图的框。turtlebot_depthimage。当你在Draw Bounding Box中选了一个框之后Draw Bounding Box就会消失，刚刚 黑色的KCFcpp的框，就会显示视频流。

同时在终端，就可以看见这些参数的输出

其中msg.z就是表示的深度。
通过将深度的值，和depthmini ，depthmax进行比较来判断发速度的大小。

if ( (msg.z > depthmini ) && (msg.z < depthmax) )
      controlSpeed = 0;
      else if ( (msg.z < depthmini) || (msg.z == depthmini))
      controlSpeed = (-1)*std::min(CONTROL_SPEED*CONTROL_SPEED_RATIO*(depthmini - msg.z),CONTROL_SPEED_MAX);
      else if ( (msg.z > depthmax) || (msg.z == depthmax))
      controlSpeed = std::min(CONTROL_SPEED*CONTROL_SPEED_RATIO*(msg.z - depthmax),CONTROL_SPEED_MAX);
      else
      controlSpeed = 0;

启动的顺序
roslaunch p3dx_description p3dx.launch
rosla unch openni_launch openni.launch
rosrun turlebot_cf_tracking KCFcpp
roslaunch follower turtlebot_cf_tacking.launch
基本上记得的就是这样
下一步的方向，使用DSScpp再做一遍
然后跑张子扬的另外一个包，看看效果

---

看ros代码的一些感触：
这里有一个很经典的套路，通过这个在订阅kinect发布的话题之后，然后需要做一个回调函数，通过这个回调函数，。指的注意的地方就是这个地方的写法

然后在实例化的句柄之前，一定要先init一个节点
然后一个函数当中，如果要写一个函数，那么应该在最前面进行处理
下一个阶段，准备学习的东西就是VIM 的GDB，我准备吧原来的代码重新看一遍，然后能够让自己熟练使用VIM和gdb，这几个工具，然后接下来就是使用EIGEN的库，opencv和关于ROS的代码。以及那么多源码，自己也准备能够写一些代码

---

紧接着我又跑了一下张子洋的opentld。在话题映射部分和上面一样的修改。然后在使用的时候，建议大家看胰腺癌readme。然后在深度图的地方按快捷键r，随后可进行选框，选了框之后，按回车进行更新。最后的效果还算是理想的，至少没有需要前面哪几种现象。同样，将tld和KCF结合的代码，的流程也是一样的

---

1、 .cc就是表示的C++文件 区别于.c
2、 .hh就是为了表示C++的头文件

KCF的论文和算法步骤：

---

KCF的帧率80度左右，然后因为是运动检测，所以需要在跟丢的地方才能找回框
TLD帧率很慢（我记得，可能记错了）当我框一个人的时候，很容易记框丢了，人不能旋转
KCF+TLD 这个旋转之后的尺度性，我根据很好
然后在openTLD的源码当中，大家可以看看readme。这个里面按E可以导出追踪物体的模型。
参考github链接：https://github.com/sunzuolei/kcf_tld_tracking_ros
增加了他的可重现率。然后我发现作者已经将cmake写的很完善了，那么我们就可以在那个源码的文件夹里面
mkdir build cd build cmake .. make 之后在 下面的文件夹里面找到

找到可执行文件。然后打开一个终端，接着把可执行文件拖到终端里面，就可以直接运行了。这样的好处就是，我在有用开ros的节点了。

初始化框

估计在这个地方进行改动，但是发现比自己想象的要更加复杂，我需要熟悉一个openTLD的流程，必将这个结合的算法，主要还是用的openTLD的框架。

---

这个地方是有巡检的部分，我觉得可以借鉴一下：
https://github.com/liminglong/turtlebot_patroller
https://github.com/liminglong/tld_turtlebot_follower.git

在阅读了readme之后，我发现

这个才是这个算法真正的主人，那么我下一步要找到这个人的论文
这个大牛的github链接：
https://github.com/klahaag/CFtld
里面会有一些例子，将来可以在论文里面写一个数据集
[-s] 这个参数可以让第一帧保持静止
作者的名字叫klahaag
这个地方应该是说明有一个matlab工具箱
首先，我的思路是，这个人github我是跑通了，最后运行的效果是能够打开笔记本上的摄像头。没有跟kinect相连接。
这个地方是对opentld的库文件进行的说明：

给我的感觉，真的用别人的还不如自己重新写。算了，我还是在直接在原来做作者的基础上面直接写吧，因为你在写这个这个过程中，你避免不了的要去修改很多关于CMAKE 的动态链接库。然后我想要使用打断点的技术的话，那么还是有roboware的开发成本是最低的。

找到一个TLD技术文档，就在上面的github文档当中。
单目标跟踪的定义：考虑到一组序列的图像I, … In评估每个目标帧的位置状态xk。将我们框住的框进行编码。

手动跟随需要用户与每帧的图像进行交互。自动跟随的方法使用了一个先验的信息为了能够初始化跟踪的过程。
在半自动化跟踪的过程，需要用户指定初始化跟踪的目标。现在KCF，TLD 和他们的融合算法都属于半自动化跟踪的过程。目前目标跟踪的主要问题在于clutter, 当背景华环境差异很小的时候，这个clutter这个问题十分突出。那么如果出现这种情况下，我们通过扩大选框，来避免这个问题。
举个例子：

在这样的一副图片下面，那么这个小车和后面的小车的差异度很比较小，在这个时候就比较容易出现clutter。另外一个挑战就是：物体本身的外观变化。内在变化：位姿的变化（就是朝向）和形状的变化（大小）外在变化包括：光照的变化和相机从不同角度拍摄的变换。为了解决这上面的问题，那么我们就需要不断更新模板（model）我觉得模型比较合适。错误的模板，将会使得bounding box偏离目标物体。与这个问题相关的是：stability-plasticly dilemma（稳定性和可塑性之间的平衡问题）那么我们就要在保持原有的资料和学习新的数据之间寻找一个平衡。当我们把相机部分遮挡住的时候。为了能够解决这个问题，我们必须要知道Bounding Box消失的时候位置。
这让我明白了TLD的全称 T：Tracking / L : learing /D : Detection
原文里面还有一些国内外研究现状，你如果要用的，就看下原文吧，我就直接不看了。我翻译一些核心的过程。让我对这个算法有个大体的框架，我现在想法，不管怎么样，分析源码首先要分析cmakelist。然后我下一步在看看要使用这个东西，到底需要哪些。

基于光流法的评估方法
这种方法的本质是一个递归算法，是在没有先验信息的情况下，需要初始化目标物体的位置。记住一个人的名字Kalal.他是这种方法的鼻祖。递归跟踪的方法是使用光流来评估目标的关键点，只保留特征点和BoundingBox框的变换估计。

首先我们评估一个等距的Bounding box在。接下来每一点的光流估计采用的LK法（高博书里面有说过，第8章 ）Lucas-Kanada。对于keypoint是角点，那么效果最好。如果所有误差的中位数都高于一个特定的阈值，我们将会完全停止跟踪。
2.1描述的LK光流
Lucas and Kanade有三个假设；第一个假设是亮度恒定I 表示的图片 x 表示的是位置 I（x）表示的是这个像素的亮度，在下一帧的图片J当中，d表示的是位移矢量。那么总体而言，从图片I 到图片J 像素X的亮度是不变的，从图片I 到图片J上唯一变化的就是这个像素的位置的变换。第二个假设是时间持久性。当位移向量很小的时候，那么我就可以用I(x)的一阶泰勒展开来替代J（x）.
对于任意一个像素而言，这个方式是多解。
第三个假设是空间的相干性。说明的是在一个窗口内，所有的像素点的运动都是相关的。通过这个假设，我们希望d能够最小化这是一个（最小二乘估计的问题）W的大小应该考虑到每个像素。其中，
e表示的是误差。（原文当中有推导的链接）
2.2误差措施：error measure
为了能够增加递归跟踪的鲁棒性，我们三条准则来滤除那些无效的点。第一条准侧是在这个公式当中，我们的待求的是d, 前提是G必须是可逆的。G必须有两个大的特征值G 有两个方向的梯度。Shi and Tomasi 公式
Kalal提出了第二条准则 forward-backward error measure. 如下面这个图所示 ，在左边这个图当中，关键点 1 能够被正确的跟踪上，但是关键点 却有一个错误的定位。这条准则说明 这个跟踪点必须是可翻转。我们用欧氏距离来作为，其中这意味着LK法将会用到P点两次。

在forward-backward error measure 使用
正常化相关系数（Normalised Correlation Coefficient）对于两个p1和p2定义
是u1 u2表示P1和P2的平均值，剩下的两个表示的标准差。这个normalised 也可能翻译成归一化。对于亮度均匀不变，NCC也是不变的。

2.3平移模板模型（model）
我们能够计算forward-backward error的中值和使用所有的similarity measure。并且让forward-backward 误差小于medFB，并且大于medNCC.如果medFB大于先前定义的，我们将不会用这个点去计算。成对的计算他的尺度性。水平方向上点，通过使用整个框当中像素的位移来计算。
算法的框图如下：我们使用的单元格是10*10，这个窗的大小W=10 这个简单来说就是大于这个阈值的点都不参与计算。

分析这下面的算法：
输入时 图片I 的亮度 和图片I 和图J 然后产生特征点，对所有的特征点进行LK光流，然后光流后的特征点在进行LK光流 将一次光流和两次光流点饿像素做差 ，求出误差， 然后通过NCC来计算归一化正常系数求出 ，然后在求出平均 ，如果大于阈值，就将这个地方的亮度弄成0 ，否则的话， 来计算平移。

从这个方面，我感觉光流法就是来计算像素的位移的变化。
2.4总结
在这个章节，我们堆一幅图片当中的感兴趣的区域采用递归评估。在没有物体先验信息的情况下。

只要有这个模型就能被跟踪上 我们引入两种评判误差。medFB 和medNCC. 然而这种方法没有办法做的第二次出线的时候，再次识别物体。

---

3、Detection
针对于object detection。object detection能够使我们解决上面光流法的问题，就是说，当一个人再次出现的时候，我们能够识别他。尽管递归跟踪依赖于前面那帧消失的位置，object detection却能够在这个画面当中，进行无穷的进行搜索。虽然有无数个小的窗口对输入的图像进行评估。但是我们在object detection上花费的时间是最多的。我们object detector是基于滑动窗的方法，这种方法如下图所示：

首先对于前景物体进行特征提取 之后进行方差滤波，然后是集成分类器 最后 进行模板匹配。在一个滑窗检测方法当红在那个，子窗口都是进行独立检测的。我们采用cascaded 方法（级联分类器）来减少计算时间。
对一个子窗口进行分类，初始化object的大小 我们大概使用了50000到20000 （5万到20万的子窗口）（前提是视频是640*480的视频流）每个子窗口都被独立测试。只有当一个子窗口通过一个cascade被接收，下一个状态才能被启动。cascaded object detector目的是阻止很多不相关的子窗口参与计算，从而使得计算量最少。我们将他分成4个阶段，首先我们使用背景消除法（其实就是个名字，没啥大不了的，相当于三帧差法，就是把背景的灰度值减去 background subtraction method）这样做的目的就是说，能够将搜索的范围仅限于前景图（foreground）. 这个阶段我们需要背景模型（background model）第二个阶段，将低于摸个阈值的子窗口进行删除。第三个阶段基于random ferns 组成一个ensemble classifier 集成分类器。我们通过使用一个非最大值抑制策略来处理重叠窗口
3.1 介绍滑窗的方法
基于滑动窗口的目标检测方法，输入的图像是包含这感兴趣区域的。一般认为，输入的每幅图像都包含感兴趣区域。一个VGA图像有23507020800个可能子窗口。
我们设置了一些限制条件，在空间R上
1、我们认为感兴趣区域保留他的长宽比例。
2、我们引入dx和dy在两个相邻的子窗口之间，并且设置 dx 和dy的值是原来boundingbox的值的1/10.。为了能够实现多尺度的搜索。我们引入了尺度因子：
同时我们也考虑到子窗口最小的面积是25个pixels（25个像素），那么所有的子窗口的限制条件可以写作：

在这个公式当中，w和h表示的是初始化框的宽度和高度。n和m表示的是这个是图片的宽度和高度。默认情况下一个Bounding box的 w=80 h=60.一个VGA图片是146*190.每个子窗口都是独立测试。我们做了很多角点和线程来完成滑动窗口的方法。

3.2如何将搜索空间限制为前景区域的背景模型
确定一个video当中的运动的物体的方法是背景相减法，将视频流的帧与背景图像做比较。我们的目的是加快检测的过程。我们总共采用四种方法。
关于背景相减法的过程：
1、左边第一幅是输入图像
2、背景图像
3、相减的结果
4、滤波之后
5、删除一些小的部件
6、在前景区域当中的最小的Bounding box

上面的组图当中，第2张图片是是背景图片 Ibg 第一张图片进行图片的跟踪 我们计算输入图像和背景图片的绝对误差 I absDiff=| Ibg-I |
减掉之后的结果就是图片3。

3.3介绍方差滤波器

3.4介绍集成分类器能够快速确定positive 子窗口（positive可能是正 也可能表示的活动）

3.5介绍模板匹配

3.6重叠检测如何合并成一个单一的结果

3.7总结

如何去融合跟踪的结果，以及在学习过程的发生了什么

算法的对比

与最后的结果进行对比

---

main.h
之后在debug之后，然后才能进行调试。

Main *main = new Main();

tld = new tld::TLD();

TLD::TLD()

 trackerEnabled = true;

numTress=10
numFeatures=13

然后实例化一个NCC分类器

阈值FP和TP

thetaFP = .5;
thetaTP = .65;

clustering

这么久才走了一行。
给我看下来，就是这个Main *main = new Main();初始化了所有的参数
首先看KCF的关于ROS的回调是怎么写，先看上一遍，然后在接着写。

修改LI MING的 turtlebot TLD follow

这个地方就是对Bounding box进行了一系列的赋值。

我想起来了，这个地方这么写是因为在是在除了自己本身的框之外，自己有一个更大的框。

将C++程序while循环语句存入到txt当中
框架：

#include<fstream>
using namespace std;
int main()
{
ofstream fout;
fout.open("output.txt");
int num=5;
fout<<num<<endl;
fout<<flush;
fout.close();

}

最后给大家补充一个ROS当中发布速度的框架

#include <geometry_msgs/Twist.h>
#include <string>
#include <geometry_msgs/Twist.h>
#include <ros/ros.h>

    ros::NodeHandle n;
    ros::Publisher vel_pub = n.advertise<geometry_msgs::Twist>("cmd_vel", 200);
    geometry_msgs::Twist twi;
     while(ros::ok())
    {
            if(rect.width < 0  ||  rect.height < 0)
            {
                ROS_INFO("rect is fail");
                return -1;
            }
            if(rect.width<100)
                twi.linear.x=0.1;
            else if(rect.width>150)
                twi.linear.x=-0.1;
            vel_pub.publish(twi);
           ROS_INFO_STREAM("cmd_vel="<<twi.linear.x);
    }

当然你不用while(ros::ok（）)
{
}做循环也可以，只要你能找到合适的循环，能够找到合适的地方就可以。
如何找到循环的地方
有个小技巧，就是ROS_INFO_STREAM("cmd_vel="<<twi.linear.x);
看他在程序运行的时候，能否在终端循环起来。

---

2017.6.11 关于跟随的博客就更新到这里。接下来我打算将自己的精力放在路径规划上面。
祝好~