我已经研究这个问题很长一段时间了，并且我的创造力已经结束，所以希望其他人可以帮助我指明正确的方向。我一直在使用 Kinect 并尝试将数据捕获到 MATLAB。幸运的是，有很多方法可以做到这一点（我目前正在使用http://www.mathworks.com/matlabcentral/fileexchange/30242-kinect-matlab）。当我尝试将捕获的数据投影为 3D 时，我的传统方法给出的重建结果很差。
长话短说，我最终为 matlab 编写了一个 Kinect SDK 包装器，用于执行重建和对齐。重建工作就像一场梦，但是......
正如您在此处看到的那样，我在对齐方面遇到了很多麻烦：
请不要太仔细地查看模型:(。
如您所见，对齐方式不正确。我不知道为什么会这样。我读过很多论坛，其中其他人使用相同的方法比我取得了更多的成功。
我当前的流程是使用 Kinect Matlab（使用 Openni）捕获数据，使用 Kinect SDK 进行重建，然后使用 Kinect SDK 进行对齐（通过 NuiImageGetColorPixelCooperativeFrameFromDepthPixelFrameAtResolution）。我怀疑这可能是 Openni 造成的，但我在创建 mex 函数调用以使用 Kinect SDK 进行捕获方面几乎没有成功。
如果有人能指出我应该更深入研究的方向，我将不胜感激。
Edit:
图一应该发布一些代码。这是我用于对齐的代码：
/* The matlab mex function */
void mexFunction( int nlhs, mxArray *plhs[], int nrhs,
const mxArray *prhs[] ){
if( nrhs < 2 )
{
printf( "No depth input or color image specified!\n" );
mexErrMsgTxt( "Input Error" );
}
int width = 640, height = 480;
// get input depth data
unsigned short *pDepthRow = ( unsigned short* ) mxGetData( prhs[0] );
unsigned char *pColorRow = ( unsigned char* ) mxGetData( prhs[1] );
// compute the warping
INuiSensor *sensor = CreateFirstConnected();
long colorCoords[ 640*480*2 ];
sensor->NuiImageGetColorPixelCoordinateFrameFromDepthPixelFrameAtResolution(
NUI_IMAGE_RESOLUTION_640x480, NUI_IMAGE_RESOLUTION_640x480,
640*480, pDepthRow, 640*480*2, colorCoords );
sensor->NuiShutdown();
sensor->Release();
// create matlab output; it's a column ordered matrix ;_;
int Jdimsc[3];
Jdimsc[0]=height;
Jdimsc[1]=width;
Jdimsc[2]=3;
plhs[0] = mxCreateNumericArray( 3, Jdimsc, mxUINT8_CLASS, mxREAL );
unsigned char *Iout = ( unsigned char* )mxGetData( plhs[0] );
for( int x = 0; x < width; x++ )
for( int y = 0; y < height; y++ ){
int idx = ( y*width + x )*2;
long c_x = colorCoords[ idx + 0 ];
long c_y = colorCoords[ idx + 1 ];
bool correct = ( c_x >= 0 && c_x < width
&& c_y >= 0 && c_y < height );
c_x = correct ? c_x : x;
c_y = correct ? c_y : y;
Iout[ 0*height*width + x*height + y ] =
pColorRow[ 0*height*width + c_x*height + c_y ];
Iout[ 1*height*width + x*height + y ] =
pColorRow[ 1*height*width + c_x*height + c_y ];
Iout[ 2*height*width + x*height + y ] =
pColorRow[ 2*height*width + c_x*height + c_y ];
}
}
这是立体视觉系统的一个众所周知的问题。不久前我也遇到了同样的问题。我发布的原始问题可以找到here。我想做的事情与此有点相似。然而，经过大量研究后，我得出的结论是捕获的数据集无法轻松对齐。
另一方面，在记录数据集时，您可以轻松使用函数调用来对齐 RGB 和深度数据。此方法在 OpenNI 和 Kinect SDK 中均可用（功能相同，但函数调用名称不同）
看起来您正在使用 Kinect SDK 来捕获数据集，要将数据与 Kinect SDK 对齐，您可以使用映射深度帧到颜色帧.
既然您还提到了使用 OpenNI，请看一下替代视角能力.
我没有使用 Kinect SDK 的经验，但是使用 OpenNI v1.5，在注册记录器节点之前，通过进行以下函数调用解决了整个问题：
depth.GetAlternativeViewPointCap().SetViewPoint(image);
where image是图像生成器节点并且depth是深度生成器节点。这是旧版 SDK 的情况，已被 OpenNI 2.0 SDK 取代。因此，如果您使用的是最新的 SDK，则函数调用可能会有所不同，但总体过程可能相似。
我还添加了一些示例图像：
Without using the above alignment function call the depth edge on RGB were not aligned
When using the function call the depth edge gets perfectly aligned (there are some infrared shadow regions which show some edges, but they are just invalid depth regions)
