第三章 并行程序设计

Foster 方法

划分、通信：处理与机器无关的问题，影响并发性和可扩展性
聚合、映射：处理与机器有关的问题，影响局部性和其他性能问题

划分

将要执行的指令和数据按计算部分拆分成多个小任务。关键在于识别出可以并行执行的任务

通信

确定划分的任务之间需要执行哪些通信

第一章 Architecture

大纲（outline）

• 冯诺依曼模型的修改
• 分布式硬件
  • 弗林分类法
  • 共享内存系统和分布式存储系统
  • 内存层次结构和缓存一致性
  • 互联网络
• 分布式软件
• 输入输出

第一张

第二张

第三张

第四章

第五张

第六张

第七张

第八张

第九张

第十张 期末考

CUDA 介绍

CPU ：面向延迟设计

image-20210607010547778(C:\Users\Aerialith\AppData\Roaming\Typora\typora-user-images\image-20210607010547778.png

• ALU
  • 减少操作延迟
• Cache
  • 将长延迟内存访问转换为短延迟缓存访问
• 控制模块 - 分支预测以减少分支延迟 - 数据转发以减少数据延迟