使用 GPU 解决复杂和大规模问题最重要的一个概念就是线程管理。CUDA 提供线程、块和网格的二维和三维逻辑抽象。学生将开发利用线程、块和网格处理大型二维至三维数据集的程序。

为了有效管理物理内存中数据的访问和修改，学生需要将数据加载到 CPU（主机）和 GPU（全局）通用内存中。学生将创建分配主机内存并将其传输到全局内存供线程使用的软件。学生还将了解这些类型内存的功能和速度。

为了提高 GPU 软件的性能，学生们需要利用可变（共享）内存和静态（常量）内存。他们将利用这些内存对数据集的所有项目进行掩码处理，管理线程之间的通信，并在复杂的程序中用于缓存。

在本模块中，学生将学习 GPU 最超本地化内存寄存器的优势和限制。 虽然使用这种类型的存储器对学生来说是很自然的事，但要从中获得最大的性能提升，就像所有形式的存储器一样，需要深思熟虑的软件设计。学生将使用每种类型的内存开发算法的实现，并进行性能分析。