对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程，打开一个 Word 就启动了一个 Word 进程。
有些进程还不止同时干一件事，比如Word，它可以同时进行打字、拼写检查、打印等事情。在一个进程内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”称为线程（Thread）。类比：
进程 = 工厂
线程 = 工厂里各个流水线注意：一个进程可能对应多个端口号，一个端口对应一个进程。
进程可以认为是程序执行时的一个实例。进程是系统进行资源分配的独立实体，且每个进程拥有独立的地址空间。（即 资源的分配和调度的一个独立单元）
进程控制块(Process Control Block, PCB)：保存运行期间进程的数据，PCB 是进程存在的唯一标志。
进程 = 程序 + 数据 + PCB
一个进程无法直接访问另一个进程的变量和数据结构，如果希望让一个进程访问另一个进程的资源，需要使用进程间通信，比如：管道、文件、套接字等。
进程的五种基本状态及其转换：
创建状态：进程正在被创建，尚未转到就绪状态，创建进程需要申请一个空白的 PCB，并向 PCB 写一些控制和管理进程的信息，然后由系统分配资源，将进程转入就绪状态。
就绪状态：进程已处于准备执行的状态，获得了除处理机以外的一切所需资源。
执行状态：进程在处理机上运行。在单处理机环境下，每一时刻最多只有一个进程运行。
阻塞状态：进程正在等待某一事件（服务请求）而暂停运行，如 等待某资源变为可用（不包括处理机）或等待输入输出 I/O 完成，即使处理机空闲，该进程也不能运行。
结束状态：进程正从系统中消失，这可能是进程正常结束或其他原因中断退出运行，当进程需要结束运行时，系统首先必须置该进程为结束状态，然后再进一步处理资源释放和回收。
注意：后备队列在外存中，而就绪队列在内存中。
PV 操作是一种实现进程互斥与同步的有效方法。PV操作与信号量的处理相关，P 表示通过(荷兰语 passeren)的意思，V 表示释放(荷兰语 vrijgeven)的意思。
具体来源可以查看PV操作的来源
互斥与同步：
互斥：是指某一资源同时只允许一个访问者对其进行访问，具有唯一性和排它性。但互斥无法限制访问者对资源的访问顺序，即 访问是无序的。
同步：是指在互斥的基础上（大多数情况），通过其它机制实现访问者对资源的有序访问。在大多数情况下，同步已经实现了互斥，特别是所有写入资源的情况必定是互斥的。少数情况是指可以允许多个访问者同时访问资源。
在操作系统中，信号量S是一整数。
当 S≥0 时，S 表示可供并发进程使用的资源实体数；
当 S<0 时，S 表示正在等待使用资源实体的进程数。
建立一个信号量必须说明此信号量所代表的意义并且赋初值。
除赋初值外，信号量仅能通过PV操作来访问。
信号量 S(semaphore) 代表“资源数”
P 操作的主要动作是：通过(荷兰语 passeren)（即 让进程使用资源）
S 减 1；
类比：“占用了一个资源”
若相减结果仍大于或等于 0，则进程继续执行；
类比：“若占用一个资源后，还有多余的资源或者刚好用完资源，那么就代表该进程有资源可以利用，进程也就可以继续执行”
若相减结果小于 0，则该进程被阻塞（挂起），之后放入等待该信号量的等待队列中，然后转入进程调度。
类比：“若占用一个资源后，还欠别人资源，那么就代表该进程根本就没有资源可以用了，所以先欠着，挂个号，等待”
V 操作的主要动作是：释放(荷兰语 vrijgeven)（即 让进程释放资源）
S 加 1；
类比：“资源占用完了，物归原主，释放资源”
若相加结果大于 0，则进程继续执行；
类比：“若释放资源后，资源数大于 0，就代表库存里的资源充裕，奉还资源后，还有资源可以给你利用，那就继续占用资源，继续执行”
若相加结果小于或等于 0，则从该信号的等待队列中释放一个等待进程（唤醒，等待→就绪），然后再返回原进程继续执行 或转入进程调度。
类比：“若一个进程结束，释放资源后，资源数还是欠别人的或者为 0，就代表库存里的资源很紧张，资源刚一释放就被其他进程一抢而空，所以自己就不能用了，得先来后到，把资源给下一个进程用，让下一个进程就绪。
如果执行不需要此资源，那么等自己执行完后（有的执行并不一定需要此资源）把处理机让给下一个进程用；
如果执行需要此资源，那么转入进程调度，重新排队，等等再执行，把处理机让给下一个进程用，让下一个进程执行。”
注意：PV 操作对于每一个进程来说，都只能进行一次，而且必须成对使用。
多核处理器的并行计算
1、并行计算机体系结构
了解并行计算机体系结构是开展并行计算研究的基础。为了设计一个高效率的并行算法，实现一个高效率的并行程序，需要对并行计算机体系结构有一定的了解。此部分内容主要包括：多级存储体系结构和并行计算机访存模型。
得益于主频和超标量指令级流水线技术的发展，现代微处理器的发展仍然遵循摩尔定律，峰值运算速度每18个月翻一番。相比较而言，内存的访问速度要比处理器执行速度慢很多，数据存取速度（即数据填充指令处理流水线的速度）难以满足微处理器的峰值计算速度，这就是所谓的内存墙（memory wall）性能瓶颈问题。多级存储体系结构是一种解决方案。
并行计算机的访存模型主要有：UMA模型、NUMA模型、COMA模型和NORMA模型。
2、并行计算模型
此部分内容主要从并行程序/并行算法的角度来介绍并行计算模型。依次讨论SIMD同步并行计算模型，包括共享存储的SIMD模型（即PRAM模型）和分布存储的SIMD模型（即SIMD互联网络模型）；MIMD异步并行计算模型（更常用的并行计算模型），包括异步PRAM模型（从共享存储的MIMD-SM多处理机抽象而来）以及BSP、LogP和C3模型（从分布存储的MIMD-DM多计算机中抽象而来）等。.0
3、进程
现代操作系统中的一个重要概念是进程（process）。正是由于多个进程之间的相互通信，才决定了各类消息传递并行程序设计平台的出现。此部分内容主要介绍进程和进程间通信的基本概念。
4、线程
为了更好的理解并行编程环境，这里简要介绍另一个重要概念：线程（threads），线程又被称作轻量级进程。
5、并行编程环境
在当前并行计算机上，比较流行的并行编程环境主要有3类：消息传递、共享存储和数据并行，此部分内容对这3类并行编程环境的主要特征进行比较总结。
6、编程语言与编译器
此部分内容将探究在科学计算领域对并行编程支持已取得相当成功的三项技术：自动并行化、数据并行语言（HPF）、共享存储并行编程接口（OpenMP）。
7、并行计算性能评测
给定并行算法，采用并行程序设计平台，通过并行实现获得实际可运行的并行程序后，一个重要的工作就是，在并行计算机上运行该程序，评价该程序的实际性能，揭示性能瓶颈，指导程序的性能优化。性能评价和优化是设计高效率并行程序必不可少的重要工作。此部分内容介绍当前流行的并行程序性能评价方法，并讨论有效的性能优化方法。
8、常用并行数值算法
在科学与工程计算的许多问题中经常需要进行矩阵计算。矩阵乘、求解线性方程组和矩阵特征值问题是矩阵计算最基本的内核。本节主要介绍基于MPP并行计算机、机群和消息传递并行环境（MPI等）上的矩阵乘以及求解线性方程组的并行数值算法。
9、并行编译器
一个并行编译器大致可由三部分组成：流分析，程序优化和代码生成。其中，流分析是确定源代码中数据和控制的相关性；优化常常是将代码变换成与之等效但具有“更好”的形式，以利于尽量挖掘硬件潜力，最终达到全局优化的目的；代码生产通常涉及到从一种描述转换成另一种中间形式的描述，不同类型的计算机其并行代码的生成也各不相同。
多线程编程基础
参考链接：https://blog.csdn.net/itcastcpp/article/details/5470105
1、线程（thread）
是操作系统中比进程更小的可执行单元，现代操作系统大都支持线程机制以便节约资源并获得更好性能。本章介绍了进程、线程的基本概念，以及多线程的互斥同步的基本概念。
2、多线程的概念
多线程的每个线程执行一个单独的逻辑路径，可以将冗长的或非常耗时的任务放在后台处理。即使在只有单处理器的计算机上，使用多线程也可以非常显著地提高应用程序的响应能力和可用性。
多线程机制的优点：创建一个线程比创建一个进程的代价要小、线程的切换比进程间的切换代价小、充分利用多处理器、．数据共享和快速响应特性。
3、用户级线程和内核级线程
根据在用户空间还是在核心实现多线程机制，线程又被分为用户级线程（user level thread）和内核级线程（kernel level thread）。用户线程的所有管理工作都由在用户级实现的线程库来支持。内核级线程的所有管理操作都是由操作系统内核完成的。
4、多线程的映射模型
对于实现了用户级线程和内核级线程的操作系统，用户级线程和内核级线程之间的可以有不同的映射方式：多对一模型、一对一模型和多对多模型。线程池是一组被创建的线程的集合，当一个进程需要线程时，如果线程池中还有可用的线程，就从中取出一个投入使用，所以进程可以更快地使用一个线程而不必等待线程的创建。
5、线程的生命周期
本部分内容包括：线程的标识，通常用一个整数来标识一个线程；线程的创建；线程的终止和线程的状态。线程有四个基本的状态：就绪（ready）、运行（running）、阻塞（blocked）和终止（terminated）。
6、多线程环境下的进程控制语义
单线程环境下的进程控制接口在多线程环境下语义可能会发生变化，包括进程创建、进程终止、程序执行、信号处理等。
7、线程的同步
由于线程共享同一进程的内存空间，多个线程可能需要同时访问同一个数据。如果没有正确的保护措施，对共享数据的访问会造成数据的不一致和错误。为避免这种不确定的错误结果的出现，在两个线程访问共享数据的时候需要同步机制。
常用的同步机制包括临界区（critical section），信号量（simphore），互斥量（mutex），管程（monitor）。比较常用的同步方法是信号量和互斥量方法。
线程之间通信的两个基本问题是互斥和同步。
线程同步是指线程之间所具有的一种制约关系，一个线程的执行依赖另一个线程的消息，当它没有得到另一个线程的消息时应该等待，直到消息到达时才被唤醒。
线程互斥是指对于共享资源，在各线程访问时的排它性。当有多个线程都要使用某一共享资源时，同一时刻只允许一个线程去使用，其它要使用该共享资源的线程必须等待，直到占用资源者释放该共享资源。
在WIN32中，同步机制主要有以下几种：
（1）全局变量；
（2）事件(Event)；
（3）临界区(Critical section)；
（4）互斥量(Mutex)；
（5）信号量(Semaphore)。
原文链接：https://blog.csdn.net/itcastcpp/article/details/5470105
代码化如下：
P 操作：
↓CloseCode↓
P(S) { | |
S--; | |
if(S < 0) { | |
保留调用进程CPU现场； | |
将该进程的PCB插入S的等待队列； | |
置该进程为“等待”状态； | |
转入进程调度； | |
} | |
} |
V 操作：
↓CloseCode↓
V(S) { | |
S++; | |
if(S <= 0) { | |
移出S等待队列首元素； | |
将该进程的PCB插入就绪队列； | |
置该进程为“就绪”状态； | |
} | |
} |
根据交换信息量的多少和效率的高低，进程通信分为如下低级通信和高级通信。
低级通信：只能传递状态和整数值（控制信息）。（如 同步互斥工具：PV 操作）
由于进程的互斥和同步，需要在进程间交换一定的信息，故不少学者将它们也归为进程通信。
特点：传送信息量小，效率低，每次通信传递的信息量固定，若传递较多信息则需要进行多次通信。
编程复杂：用户直接实现通信的细节，容易出错。
高级通信：提高信号通信的效率，传递大量数据，减轻程序编制的复杂度。
提供三种方式：
共享内存模式
消息传递模式
共享文件模式
共享内存模式
在通信进程之间存在一块可直接访问的共享空间，通过对这片共享空间进行写/读操作，实现进程之间的信息交换。
在对共享空间进行写/读操作时，需要同步互斥工具（如 P操作、V操作），对共享空间的写/读进行控制。
类比：
进程 = 物品
共享空间 = 钱
用钱进行交换，而不用物物交换
消息传递模式
在消息传递模式中，进程间的数据交换是以格式化的消息(Message)为单位的。
进程通过系统提供的发送消息和接收消息两个原语进行数据交换。
若通信进程之间不存在可直接访问的共享空间，则必须利用操作系统提供的信息传递方法实现进程通信。
可分为直接和间接两种通信方式：
直接：将消息发送给接收进程，并将它挂在接收进程的信息缓冲队列中，接收进程从消息缓冲队列中取得消息。
间接：将消息发送给某个中间实体（信箱），接受进程从中间实体中取得消息，又称为信箱通信方式。
类比：
甲给乙写信
直接：甲直接把信交给乙
间接：甲通过邮差把信交给乙
共享文件模式
共享文件：用于连接一个发送进程和一个接收进程，以实现它们之间通信的文件，就是共享文件，又名 pipe（管道）文件。
向管道提供输入的发送进程，以字节流形式将大量的数据送入管道；
而接收管道输出的接收进程，则从管道中接收数据。
为了协调双方的通信，管道机制必须提供互斥、同步和确定对方存在三方面的协调能力。
共享内存模式与共享文件模式的区别
共享内存和消息队列，FIFO，管道传递消息的区别：
消息队列，FIFO，管道的消息传递方式一般为：
服务器得到输入
通过管道，消息队列写入数据，通常需要从进程拷贝到内核。
客户从内核拷贝到进程
然后再从进程中拷贝到输出文件
上述过程通常要经过4次拷贝，才能完成文件的传递。
共享内存只需要：
从输入文件到共享内存区
从共享内存区输出到文件
上述过程不涉及到内核的拷贝，所以花的时间较少，共享内存最快。
参考：https://blog.csdn.net/m0_37806112/article/details/81671429
对线程最基本的理解就是“轻量级进程”，它是一个基本的 CPU 执行单元，也是程序执行流的最小单元，由线程 ID、程序计数器、寄存器集合和堆栈组成。（即 CPU 调度的基本单元）
线程控制块(Thread Control Block, TCB)：保存运行期间线程的数据，TCB 是线程存在的唯一标志。
线程属于进程，是进程的一个实体，是被系统独立和分配的基本单位。
线程自己不拥有系统资源，只拥有一点在运行中必不可少的资源，但它可以与同属一个进程的其他线程共享进程所拥有的全部资源。
一个进程可以创建和撤销另一个线程，同一个进程中的多个线程之间可以并发执行。
进程是资源分配和调度的一个独立单元；
而线程是 CPU 调度的基本单元。
同一个进程中可以包括多个线程，并且线程共享整个进程的资源（寄存器、堆栈、上下文），一个进程至少包括一个线程。
进程的创建调用 fork 或者 vfork，而线程的创建调用 pthread_create；
进程结束后它拥有的所有线程都将销毁，而线程的结束不会影响同个进程中的其他线程的结束。
线程是轻量级的进程，它的创建和销毁所需要的时间比进程小很多，所有操作系统中的执行功能都是创建线程去完成的。
线程中执行时一半都要进行同步和互斥，因为它们共享同一进程的所有资源。
线程有自己的私有属性 TCB、线程 id、寄存器、硬件上下文；
而进程也有自己的私有属性进程控制块 PCB，
这些私有属性是不被共享的，用来表示一个进程或一个线程的标志。