实验背景：因为需要制作bundlefusion需要的数据集，所以需要使用kinectV2相机获取rgbd图像，年前的时候在我的笔记本上安装了libfreenect2库和iai_kinect2，标定过一次kinecv2相机，然后使用kinectv2相机实时获取的图像实现elasticfusion稠密重建．但是由于当时时间紧迫，很多东西都没有搞明白，所以趁这次机会将一些问题整理一下，记录一下．
环境搭建：
１． 安装了ROS的kinetic版本
libfreenect2和iai_kinect2的安装参考文章： https://www.cnblogs.com/li-yao7758258/p/7445429.html
2. 下载libfreenect2
$ cd Downloads
$ git clone https://github.com/OpenKinect/libfreenect2.git
3.安装libfreenect2的依赖
sudo apt-get install build-essential cmake pkg-config libturbojpeg libjpeg-turbo8-dev mesa-common-dev freeglut3-dev libxrandr-dev libxi-dev
安装libusb
sudo apt-add-repository ppa:floe/libusb
sudo apt-get update
sudo apt-get install libusb-1.0-0-dev
安装GLFW3
cd libfreenect2/depends
sh install_ubuntu.sh
sudo dpkg -i libglfw3*_3.0.4-1_*.deb4. 继续安装libfreenect2库
$ cd libfreenect2
$ mkdir build
$ cmake ../
$ make -j4
$ sudo make install5. 使用lsusb指令测试kinectv2相机有没有链接成功．
6. 编译iai_kinect2
$ cd ~/ROS #在/home/yunlei下创建了一个ROS文件夹，专门盛放ros的工程
$ mkdir -r ./iai_kinect2_ws/src/
$ cd ./iai_kinect2/src
$ git clone https://github.com/code-iai/iai_kinect2.git
$ cd iai_kinect2
$ rosdep install -r --from-paths .
$ cd ~/ROS/iai_kinect2
$ catkin_make -DCMAKE_BUILD_TYPE="Release"
$ rospack profile
7. 测试kinectv2相机是否链接成功
$ cd Download
$ cd libfreenect
$ cd build/bin
$ ./Protonect如果一切正常的话，相机拍摄的画面将映入眼帘．
８. 测试kinectv2图像数据
$ cd ~/ROS/iai_kinect2_ws
$ source ./devel/setup.bash
$ roslaunch kinect2_bridge kinect2_bridge.launch
# open a new terminal
$ rosrun kinect2_viewer kinect2_viewer(但是我这里执行失败)
9. 查看此时发布的与kinect相关的topics
/kinect2/bond
/kinect2/hd/camera_info
/kinect2/hd/image_color
/kinect2/hd/image_color/compressed
/kinect2/hd/image_color_rect
/kinect2/hd/image_color_rect/compressed
/kinect2/hd/image_depth_rect
/kinect2/hd/image_depth_rect/compressed
/kinect2/hd/image_mono
/kinect2/hd/image_mono/compressed
/kinect2/hd/image_mono_rect
/kinect2/hd/image_mono_rect/compressed
/kinect2/hd/points
/kinect2/qhd/camera_info
/kinect2/qhd/image_color
/kinect2/qhd/image_color/compressed
/kinect2/qhd/image_color_rect
/kinect2/qhd/image_color_rect/compressed
/kinect2/qhd/image_depth_rect
/kinect2/qhd/image_depth_rect/compressed
/kinect2/qhd/image_mono
/kinect2/qhd/image_mono/compressed
/kinect2/qhd/image_mono_rect
/kinect2/qhd/image_mono_rect/compressed
/kinect2/qhd/points
/kinect2/sd/camera_info
/kinect2/sd/image_color_rect
/kinect2/sd/image_color_rect/compressed
/kinect2/sd/image_depth
/kinect2/sd/image_depth/compressed
/kinect2/sd/image_depth_rect
/kinect2/sd/image_depth_rect/compressed
/kinect2/sd/image_ir
/kinect2/sd/image_ir/compressed
/kinect2/sd/image_ir_rect
/kinect2/sd/image_ir_rect/compressed
/kinect2/sd/points
10. 打开/home/yunlei/ROS/iai_kinect2_ws/src/iai_kinect2/kinect2_bridge/launch/kinect2_bridge.launch查看kinect相机的分辨率
<!-- sd point cloud (512 x 424) -->
<node pkg="nodelet" type="nodelet" name="$(arg base_name)_points_xyzrgb_sd" machine="$(arg machine)"
args="load depth_image_proc/point_cloud_xyzrgb $(arg nodelet_manager)" respawn="$(arg respawn)">
<remap from="rgb/camera_info" to="$(arg base_name)/sd/camera_info"/>
<remap from="rgb/image_rect_color" to="$(arg base_name)/sd/image_color_rect"/>
<remap from="depth_registered/image_rect" to="$(arg base_name)/sd/image_depth_rect"/>
<remap from="depth_registered/points" to="$(arg base_name)/sd/points"/>
<param name="queue_size" type="int" value="$(arg queue_size)"/>
</node>
<!-- qhd point cloud (960 x 540) -->
<node pkg="nodelet" type="nodelet" name="$(arg base_name)_points_xyzrgb_qhd" machine="$(arg machine)"
args="load depth_image_proc/point_cloud_xyzrgb $(arg nodelet_manager)" respawn="$(arg respawn)">
<remap from="rgb/camera_info" to="$(arg base_name)/qhd/camera_info"/>
<remap from="rgb/image_rect_color" to="$(arg base_name)/qhd/image_color_rect"/>
<remap from="depth_registered/image_rect" to="$(arg base_name)/qhd/image_depth_rect"/>
<remap from="depth_registered/points" to="$(arg base_name)/qhd/points"/>
<param name="queue_size" type="int" value="$(arg queue_size)"/>
</node>
<!-- hd point cloud (1920 x 1080) -->
<node pkg="nodelet" type="nodelet" name="$(arg base_name)_points_xyzrgb_hd" machine="$(arg machine)"
args="load depth_image_proc/point_cloud_xyzrgb $(arg nodelet_manager)" respawn="$(arg respawn)">
<remap from="rgb/camera_info" to="$(arg base_name)/hd/camera_info"/>
<remap from="rgb/image_rect_color" to="$(arg base_name)/hd/image_color_rect"/>
<remap from="depth_registered/image_rect" to="$(arg base_name)/hd/image_depth_rect"/>
<remap from="depth_registered/points" to="$(arg base_name)/hd/points"/>
<param name="queue_size" type="int" value="$(arg queue_size)"/>可以发现kinecv2相机可以直接获取的图像的分辨率有三个，分别是：hd(1920x1080), qhd(960x540), sd(512x424),每一种分辨率又对应了彩色图，灰度图，深度图，以及是否是经过去畸变处理的，深度图是否和彩色图配准．
11. 如果你想获取rect图像，那么你需要给定相应分辨率的相机内参数，而此时使用的是默认/iai_kinect2/kinect2_bridge/data下的相机参数，所以你需要标定你需要的分辨率的相机参数．
12.关于数据获取，如果我标定了960x540的相机内参数，获取了去畸变后的而图像，我直接使用rosbag record指令，录制相应的topic就可以了．所以现在最关键的是标定相机
13. iai_kinect2中也提供了标定工具，在/home/yunlei/ROS/iai_kinect2_ws/src/iai_kinect2/kinect2_calibration中，不过此时在/home/yunlei/ROS/iai_kinect2_ws/src/iai_kinect2/kinect2_calibration/src/kinect2_calibration.cpp文件中默认是标定1920x1080的图像，如果想要标定960x540的相机内参数，则需要将文件1349行中的HD改为QHD
将原来的
std::string topicColor = "/" + ns + K2_TOPIC_HD + K2_TOPIC_IMAGE_MONO;
std::string topicIr = "/" + ns + K2_TOPIC_SD + K2_TOPIC_IMAGE_IR;
std::string topicDepth = "/" + ns + K2_TOPIC_SD + K2_TOPIC_IMAGE_DEPTH;改为
std::string topicColor = "/" + ns + K2_TOPIC_QHD + K2_TOPIC_IMAGE_MONO;
std::string topicIr = "/" + ns + K2_TOPIC_SD + K2_TOPIC_IMAGE_IR;
std::string topicDepth = "/" + ns + K2_TOPIC_SD + K2_TOPIC_IMAGE_DEPTH;我刚开始改成了SD但是这种情况下，当你执行rosrun kinect2_calibration kinect2_calibration chess5x7x0.03 record color指令时，没有弹出图像窗口，无法保存图像，并且提示
[ERROR] Tried to advertise a service that is already advertised in this node [/kinect2_calib_1591865100768222736/compressed/set_parameters]
[ERROR] Tried to advertise a service that is already advertised in this node [/kinect2_calib_1591865100768222736/compressed/set_parameters]我刚开始根据这个错误提示去搜索出了什么问题，但是有网友说这个不影响标定，（https://blog.csdn.net/weixin_30536513/article/details/94969881）但是我这里确实影响了．我折腾了好久，但是还是没有解决这个问题，当我想放弃的时候，突然想起来，我可以把上面的SD改为QHD试试．果然，当我改成了QHD后发现，虽然还是会有上面的错误的提示，但是此时弹出了图像窗口，当我拿着标定板进入相机的视野时，他可以检测到标定板子上的特征点，哇，我好开心．