一、
首先看下百度上的对此函数的解释。
设置异常捕获函数.
当异常没有处理的时候,系统就会调用SetUnhandledExceptionFilter所设置异常处理函数.
例如一些程序在出错的时候,会向用户报告说程序那出错就是利用这个.例如QQ..
二、
异常处理中的一部分
当发生异常时，比如内存访问违例时，CPU硬件会发现此问题，并产生一个异常（你可以把它理解为中断）然后CPU会把代码流程切换到异常处理服务程。
操作系统异常处理服务例程会查看当前进程是否处于调试状态。如果是，则通知调试器发生了异常，如果不是则操作系统会查看当前线程是否安装了的异常帧链(FS[0])，如果安装了SEH（try.... catch....），则调用SEH，并根据返回结果决定是否全局展开活局部展开。如果异常链中所有的SEH都没有处理此异常，而且此进程还处于调试状态，则操作系统会再次通知调试器发生异常（二次异常）。如果还没人处理，则调用操作系统的默认异常处理代码UnhandledExceptionHandler，不过操作系统允许你Hook这个函数，就是通过SetUnhandledExceptionFilter函数来设置。大部分异常通过此种方法都能捕获，不过栈溢出、覆盖的有可能捕获不到。
大部分保护壳都采用异常处理技术，跳出正常的代码指令流程，来迷惑Cracker。
三、
说的有点粗略。下面根据自己的理解阐述下。
SetUnhandledExceptionFilter，根据函数的名字能看出是设置异常处理函数，其实如果程序没设置异常处理函数，程序会调用默认的处理函数处理异常，然后程序终止，一般情况下就弹出个对话框。
如何设置自己的异常处理函数？
LPTOP_LEVEL_EXCEPTION_FILTER SetUnhandledExceptionFilter(
LPTOP_LEVEL_EXCEPTION_FILTER lpTopLevelExceptionFilter
);
参数是一个函数指针，定义如下
LONG UnhandledExceptionFilter(
STRUCT _EXCEPTION_POINTERS *ExceptionInfo
);
函数类型
ExceptionInfo 是对异常描述的一个结构体
typedef struct _EXCEPTION_POINTERS {
PEXCEPTION_RECORD ExceptionRecord;
PCONTEXT ContextRecord;
} EXCEPTION_POINTERS, *PEXCEPTION_POINTERS;
异常捕获函数有三种返回值
EXCEPTION_EXECUTE_HANDLER：表明异常处理完毕，程序可以退出
EXCEPTION_CONTINUE_EXECUTION：忽略此异常，从异常点继续运行。如果此时再发生异常，还会调用异常处理函数
EXCEPTION_CONTINUE_SEARCH：异常没被识别，交由上一级处理函数处理；
SetUnhandledExceptionFilter返回值，如果为0，表明此时没有附加额外的处理函数（除默认的处理函数），如果非空，则存放到当前顶层的处理函数地址。
需要注意的是，SetUnhandledExceptionFilter设置的异常处理函数为全局的处理函数，是异常发生后，最后一次处理异常的机会。如果程序被调试器附加。调试器将优先于SetUnhandledExceptionFilter设置的异常处理函数处理异常。
C++自定义的try{}Catch{}比较。这是C++自定义的异常处理过程，利用SEH来处理发生的异常，如果异常发生，又出现在try{}Catch{}中 将得到优先处理。
