您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

并行计算机(并行计算技术)

程序,模型,开销并行计算机(并行计算技术)

发布时间：2020-12-06加入收藏来源：互联网点击：

很多朋友想了解关于并行计算机的一些资料信息，下面是小编整理的与并行计算机相关的内容分享给大家，一起来看看吧。

**计算机体系结构由程序设计者看到的计算机系统的属，抽象的概念的结构和功能属。

计算机组成:是计算机体系结构的逻辑实现。

计算机实现:是计算机组成的物理实现。

重点内容

计算机系统的层次结构 现代并行计算机的组成

ü硬件核心:处理机、存储器和外围设备组成了计算机系统。

ü互连:外围设备可以直接或通过局域网和广域网与主机相连。

ü映射是一种算法结构与硬件结构相匹配的双向过程。包括处理机调度、存储器映象、处理器间的通信等..存在的问题：不能以通用和可移植方式进行并行程序设计。将着眼点放在语言执行的效率、对不同机器的可移植、与现有的顺序语言的兼容、并行的表达和编程的简便

改进编译器：预处理程序、预编译器、并行化编译器

ü预处理程序：采用顺序编译器和目标计算机的低层程序库实现高级并行结构。

ü预编译器：需要程序流分析、相关检查和有限的优化来检测并行。

ü联接过程的效果取决于预处理程序、预编译器、并行化编译器、加载程序

和操作系统支持的功效。由于程序行为的不可预测，现有的编译器在检测

所有类型的并行时都不是完全自动或完全智能进行的。有效的办法：p将编译器命令插入源代码，帮助编译器做出较好的结果。这样，用户可与编译器进行交互重构，这已被证明对提高并行计算机能是十分有用的。

物理结构

üMISD(多指令流单数据流)机在执行不同的指令流时，同一数据流通过处理机线阵列就是所谓 流水线执行特定算法的脉动阵列(Systolic arrays)。

并行计算机有两大类：共享存储型多处理机、消息传递型多计算机

早期的超级计算机可分为：

流水线向量机：用带有少量带有向量硬件，但能很高的处理机来装备.

SIMD计算机：强调开发大规模数据并行

pSIMD计算机开发的是PE之间的空间并行;p存储器分布的SIMD计算机由同一阵列控制部件控制的PE阵列组成;p程序和数据通过主机装入控制存储器;

p指令是送到控制部件进行译码;ü标量操作或控制操作，则将直接由与控制部件相连的标量处理机执行;ü向量操作，则将它广播到所有PE并行地执行;p划分后的数据集合通过向量数据总线广播到所有PE的本地存储器;pPE通过数据寻径网络互连。数据寻径网络执行PE间的通信，如移数、置换和其它寻径操作。控制部件通过执行程序来控制数据寻径网络。PE的同步由控制部件的硬件实现;p所有PE在同一个周期执行同一条指令;p可以用屏蔽逻辑来决定任何一个PE在给定的指令周期执行或不执行指令

共享存储器模型:是一种PE使用共享存储器的SIMD计算机。PE和存储器之间的通信网络是一个对准网络，它也受控制部件控制。

抽象机模型的概念与意义

ü并行计算机的理论模型是从物理模型抽象的；

ü为开发并行算法提供了一种方便的框架；

ü用这些模型可求得并行计算机的理论能界限；

ü可在芯片制作前估算芯片区的VLSI复杂和执行时间。

计算机求解一个规模为s的问题的算法复杂取决于:Ø执行时间Ø存储空间

一个抽象机模型用语义属和能属进行描述

语义属:同构、同步、交互机制、地址空间、存储器模型、原子操作（不可分，有限）

能属：包括机器规模、时钟频率、工作负载、执行时间（顺序/并行）、速度、加速比、效率以及利用率等

语义属具有较长的延续，并行计算机换代时仍保持不变。

能属高度依赖系统结构平台，随着计算机换代而改变。

并行程序的操作类型：计算操作、并行操作、交互操作

并行程序的开销源：并行开销、通信开销、同步开销、不平衡开销

并行随机存取机模型 PRAM：用途:可用来开发并行算法和分析可扩展及复杂。MIMD、细粒度、严格同步、零开销、共享变量。特点：在PRAM上的一个并行程序由n个进程组成，其中第i个进程留驻在第i个处理器上，且由一串指令所组成。在每个基本时间步(称为周期)，每个处理器执行一条指令。指令包括数据传送、算/逻、控制流以及I/O指令，在典型的顺序计算机中均有这些指令。①规模为1的PRAM退化为传统的RAM机。这种机器为SISD机。②当处理器多于1个时，一个PRAM将访问多个数据流，且通常可执行多个指令流。因此PRAM是一个MIMD机。 MIMD的特例:

如果在每一周期，所有处理器必须执行相同指令，即只有一个指令流时，则PRAM就成为单指令流、多数据流(SIMD)机器。

SPMD计算：单程序、多数据，所有进程执行同一程序，而由进程指标加以参数化。

SIMD和SPMD间的差别是，在SPMD计算中，同一周期可以执行不同指令。

①进程同步是严格的，任何处理器的存储器写操作或转移操作之前，必须完成其他处理器的存储器读操作。②PRAM是在指令级同步的。③实际的MIMD并行机是异步的。每个进程有自己的速率，与其他处理器进程速率无关。 在PRAM模型中，进程间通过共享变量(或共享存储器)进行交互，进程间通过共享变量进行交互的异步MIMD机，常称为多处理机。

进程间通过消息传递进行交互的异步MIMD机，常称为多计算机

①理论PRAM模型中，所有进程对所有存储单元均有相等的访问时间。这种机器为均匀存储器访问(UMA)。②若采用非均匀存储器访问(NUMA)，将演变为异步PRAM模型（APRAM）。③ PRAM模型不合适多计算机。

多计算机中，每个处理机有它自己的分离地址空间。这些机器被称为具有多地址空间。正是由于此原因，多计算机的处理机间通信不是通过共享变量，而是借助消息传递。

存储器模型：主要目的是协调写冲突问题，有四种PRAM模型方案。 ①EREW-PRAM模型——互斥读、互斥写。禁止一台以上处理机同时读、写同一存储单元。 这是限制最大的PRAM模型。②CREW-PRAM模型——并发读、互斥写。用互斥使写冲突避免。可以并行读同一存储单元。③ERCW-PRAM模型——互斥读、并发写。允许互斥读或并行写同一存储单元。④CRCW-PRAM模型——并发读、并发写，允许在同一时刻并行读或者并行写。PRAM模型常用EREW和CRCW规则优点：PRAM模型略去很多细节，形式简单，便于开发并行程序，在此模型基础上开发的并行算法易于改进成实用的并行算法。缺点：与物理模型存在差异，实际上，这种并行计算机是不存在的。原因在于零通信开销和指令级同步的不现实假设。共享存储器的SIMD机是与PRAM模型最接近的结构

块同步并行模型 BSP特点：（1）一个BSP程序有n个进程，每个驻留在一个结点上。基本时间单位是周期(或时间步)。（2）程序按严格的超步序列执行。（3）同步路障迫使进程等待。（4）BSP计算机是MIMD系统。（5）BSP模型是超步级的松同步。（6）在一个超步中，不同进程以不同速率异步执行。（7）BSP模型交互机制是共享变量或是消息传递。

h关系的定义：（1）一个h关系是任何通信操作的抽象，在其中，每个结点最多发出h个字到各结点，并且每个结点最多接收h个字。（2）在一个BSP计算机中，实现任何h关系的时间不会超过gh个周期，g是由机器平台决定的一个常数。一个超步执行时间的确定计算时间w：处理器中完成计算操作所需的最大周期数；路障同步开销为L；通信开销为gh周期，g是实现h关系的比例系数，常数；执行一个超步的时间为:w+gh+L

 1/3    1 2 3 下一页 尾页