Le concept le plus important pour l'utilisation des GPU afin de résoudre des problèmes complexes et à grande échelle est la gestion des threads. CUDA fournit des abstractions logiques bidimensionnelles et tridimensionnelles de threads, de blocs et de grilles. Les étudiants développeront des programmes qui utilisent des threads, des blocs et des grilles pour traiter de grands ensembles de données en 2 ou 3 dimensions.

Pour gérer efficacement l'accès et la modification des données dans la mémoire physique, les élèves devront charger des données dans la mémoire polyvalente du CPU (hôte) et du GPU (globale). Les élèves créeront des logiciels qui allouent la mémoire hôte et la transfèrent dans la mémoire globale pour qu'elle soit utilisée par les threads. Ils apprendront également les capacités et les vitesses de ces types de mémoire.

Pour améliorer les performances des logiciels GPU, les étudiants devront utiliser la mémoire mutable (partagée) et la mémoire statique (constante). Ils les utiliseront pour appliquer des masques à tous les éléments d'un ensemble de données, pour gérer la communication entre les threads et pour la mise en cache dans les programmes complexes.

Dans ce module, les étudiants apprendront les avantages et les contraintes de la mémoire la plus hyper-localisée des GPU, les registres. Bien que l'utilisation de ce type de mémoire soit naturelle pour les étudiants, l'obtention de la plus grande augmentation de performance, comme toutes les formes de mémoire, nécessitera une conception réfléchie du logiciel. Les étudiants développeront des implémentations d'algorithmes utilisant chaque type de mémoire et produiront des analyses de performance.