GPU, CUDA,cuDNNRésumé de la relation entre les trois

CPU Et GPU

cpuEtgpuPrésentation de la structure
GPU（Processeur d'image,Graphics Processing Unit）EtCPU（CPU,Central Processing Unit）Les principales différences de conception sontGPUIl y a plus d'unités de calcul（Comme le montre la photo en vertALU）,EtControlEtCacheUnit é inférieureCPUBeaucoup.,C'est parce queGPUChaque Unit é de calcul exécute le même programme lorsqu'elle effectue des calculs parallèles,Sans trop de contrôle.CacheL'Unit é est utilisée pour la mise en cache des données,CPUPeut passerCachePour réduire le nombre d'accès à la mémoire principale,C'est - à - dire réduire la latence de mémoire（memory latency）.GPUMoyenneCachePetit ou pas,Parce queGPU La latence de la mémoire peut être réduite par l'informatique parallèle .Donc,CPUDeCahce Conçu principalement pour atteindre un faible délai ,Control Principalement générique , Une Unit é de contrôle logique complexe peut garantir CPU Distribuer efficacement les tâches et les instructions .Alors...CPUMaîtrise du contrôle logique, Est un calcul en série ,EtGPU Bon calcul à haute résistance , Est l'informatique parallèle .Par exemple,GPU Comme des milliers de coolies. , Tout le monde fait le même travail. ,Il n'y a pas de dépendance mutuelle,Sont indépendants, Les gens simples sont puissants. ;CPU C'est comme un chef de chantier. , Bien qu'il puisse travailler dur. ,Mais peu de gens, C'est pourquoi nous sommes généralement responsables de la répartition des tâches. , Répartition du personnel, etc. .
Comme vous pouvez le voir,GPU L'accélération est réalisée en parallèle par un grand nombre de fils , Donc, pour un travail qui ne peut pas être très parallèle, ,GPU Ça ne marchera pas. .EtCPU Est une opération en série , Nécessite une grande polyvalence , Il joue principalement le rôle de gestion centralisée et d'attribution des tâches. .

CUDA

CUDA- Oui.NVIDIALancé pour la maisonGPUUn cadre informatique parallèle pour,C'est - à - direCUDASeulement dansNVIDIADeGPUCours.,Et ce n'est que lorsque le problème de calcul à résoudre peut être beaucoup de calcul parallèleCUDALe rôle de.

cuDNN

cuDNN（CUDA Deep Neural Network library）：- Oui.NVIDIALa Bibliothèque d'accélération créée pour les réseaux neuronaux profonds,C'est un réseau neuronal profondGPUBibliothèque d'accélération.Si tu veux utiliserGPUModèle d'entraînement,cuDNNCe n'est pas nécessaire,Mais cette bibliothèque d'accélération est généralement utilisée.

Résumé

En termes simples,CPU Convient au calcul en série ,Maîtrise du contrôle logique.GPUExceller dans le calcul parallèle à haute intensité,PourAIFormation à l'algorithme
CUDA - Oui.NVIDIA Un cadre dédié à la gestion des unités de calcul d'allocation
cuDNN Est utilisé dans les réseaux neuronaux profonds gpuBibliothèque d'accélération

Commande de version de requête ：

ubuntu:

cuda Version 
nvcc -V
cat /usr/local/cuda/version.txt

cudnn Version 
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

VoirNvidia GPUVersion
nvidia-smi

//10sAfficher une fois
watch -n 10 nvidia-smi

nvidia-smi -l