CPU与CUDA（GPU）的计算能⼒对⽐之⼀：Tensorflow矩阵乘CPU与CUDA(GPU)的计算能⼒对⽐之⼀: Tensorflow矩阵乘
结论：
1.Tensorflow 矩阵乘场景，CUDA 的效率是 CPU 的 1000 倍以上。
2. 测试过程中： GPU峰值占⽤率能够达到100%, CPU峰值占⽤率最⾼（观测到的）为51% , ⼤部分时间在20%以下。
3. 本测试不涉及 神经⽹络/深度学习/机器学习算法 ， 仅为简单的矩阵乘（1亿 ⾏元素 * 1 亿列元素）
环境概要：
CPU 9750 i7 ,32G 内存；
GPU Nvidia RTX2070 (8G显存)
Tensorflow 版本：2.3.1
CUDA 版本：10.1
cuDNN 版本：7.6.5
# 屏蔽tensorflow输出的log信息
tensorflow版本选择# 注意：代码在import tensorflow之前
import os
import sys
print("python的版本信息：",sys.version)
#python的版本信息： 3.7.9 (default, Aug 31 2020, 17:10:11) [MSC v.1916 64 bit (AMD64)]
import tensorflow as tf
'''
验证GPU相对于CPU，在并⾏计算优势明显
'''
n=100000000#1亿次（2亿次会发⽣内存分配OOM ）
python的版本信息： 3.8.5 (default, Sep  3 2020, 21:29:08) [MSC v.1916 64 bit (AMD64)]
# 创建在CPU环境上运算的 2 个矩阵
with tf.device('/cpu:0'):
cpu_a = al([1, n])
cpu_b = al([n,1])
print(cpu_a.device, cpu_b.device)
/job:localhost/replica:0/task:0/device:CPU:0 /job:localhost/replica:0/task:0/device:CPU:0
cpu_b.device
'/job:localhost/replica:0/task:0/device:CPU:0'
cpu_a.device
'/job:localhost/replica:0/task:0/device:CPU:0'
# 创建使⽤ GPU环境运算的 2 个矩阵
with tf.device('/gpu:0'):
gpu_a = al([1, n])
gpu_b = al([n,1])
print(gpu_a.device, gpu_b.device)
/job:localhost/replica:0/task:0/device:GPU:0 /job:localhost/replica:0/task:0/device:GPU:0
import timeit
def cpu_run():# CPU 运算函数
with tf.device('/cpu:0'):
c = tf.matmul(cpu_a, cpu_b)
return c
def gpu_run():# GPU 运算函数
with tf.device('/gpu:0'):
c = tf.matmul(gpu_a, gpu_b)
return c
# 第⼀次计算需要热⾝，避免将初始化时间结算在内
cpu_time = timeit.timeit(cpu_run, number=10)
gpu_time = timeit.timeit(gpu_run, number=10)
print('⾸先计算10次（含热⾝环境）的平均时间,CPU计算消耗时间：%.3fms,GPU计算消耗时间：%.3fms!'%(cpu_time*1000, gpu_time*1000))⾸先计算10次（含热⾝环境）的平均时间,CPU计算消耗时间：732.556ms,GPU计算消耗时间：0.676ms!
#正式计算10次，取平均时间
cpu1_time = timeit.timeit(cpu_run, number=200)
gpu1_time = timeit.timeit(gpu_run, number=200)
print('正式计算200次的平均时间,CPU计算消耗时间：%.3fms,GPU计算消耗时间：%.3fms!'%(cpu1_time*1000, gpu1_time*1000))
正式计算200次的平均时间,CPU计算消耗时间：14245.693ms,GPU计算消耗时间：12.130ms!