1、OpenMP
是基于共享内存系统的并行编程和框架,只需要在串行程序中,需要并行的部分添加一行关键字:
#pragma omp parallel for
来标注接下来的for循环分解到多个线程上执行。
两个缺点:
并行后会改变原来for循环的顺序,例如之前i=0,1,2,3,4,5,6,7的顺序会在两核并行后变成0,4,1,5,2,6,3,7的执行顺序,所以不适合需要复杂的线程间同步和互斥,或者依赖的程序;
基于共享内存系统,所以不能用于集群计算环境。
2、MPI
是基于消息传递的并行编程框架,广泛应用于集群计算环境,支持点对点和广播通信两种通信方式。在OpenFoam里就是用的MPI进行并行计算。实现主要采用MPICH。
对于计算流体力学,一般来讲,显式时间格式,低阶或者紧致的数值格式的局域性好,节点对其非Neighbourhood的节点没有依赖关系,天然的可以通过网格分块的方式来实现并行计算。
为了降低通信开销,可以采用MPI+OpenMP混合编程的方式。
问题:对于单节点内共享内存系统的Core,需要进行消息传递吗?
3、OpenCL
支持CPU/GPU/DSP/FPGA等各种硬件,支持异构计算。
4、CUDA
NVIDIA公司出品,有BLOCK并行和THREAD并行两级并行机制。
5、Spark
数据结构抽象为RDD结构,支持python。硬件支持CPU。