使用cpu和gpu的區(qū)別

在Tensorflow中使用gpu和cpu是有很大的差別的。在小數(shù)據(jù)集的情況下，cpu和gpu的性能差別不大。

不過在大數(shù)據(jù)集的情況下，cpu的時(shí)間顯著增加，而gpu變化并不明顯。

不過，我的筆記本電腦的風(fēng)扇終于全功率運(yùn)行了。

import tensorflow as tf
import timeit
import numpy as np
import matplotlib.pyplot as plt
def cpu_run(num):
  with tf.device('/cpu:0'):
    cpu_a=tf.random.normal([1,num])
    cpu_b=tf.random.normal([num,1])
    c=tf.matmul(cpu_a,cpu_b)
  return c
def gpu_run(num):
  with tf.device('/gpu:0'):
    gpu_a=tf.random.normal([1,num])
    gpu_b=tf.random.normal([num,1])
    c=tf.matmul(gpu_a,gpu_b)
  return c
k=10
m=7
cpu_result=np.arange(m,dtype=np.float32)
gpu_result=np.arange(m,dtype=np.float32)
x_time=np.arange(m)
for i in range(m):
  k=k*10
  x_time[i]=k
  cpu_str='cpu_run('+str(k)+')'
  gpu_str='gpu_run('+str(k)+')'
  #print(cpu_str)
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  # 正式計(jì)算10次，取平均時(shí)間
  cpu_time=timeit.timeit(cpu_str,'from __main__ import cpu_run',number=10)
  gpu_time=timeit.timeit(gpu_str,'from __main__ import gpu_run',number=10)
  cpu_result[i]=cpu_time
  gpu_result[i]=gpu_time
print(cpu_result)
print(gpu_result)
fig, ax = plt.subplots()
ax.set_xscale("log")
ax.set_adjustable("datalim")
ax.plot(x_time,cpu_result)
ax.plot(x_time,gpu_result)
ax.grid()
plt.draw()
plt.show()

藍(lán)線是cpu的耗時(shí)，而紅線是gpu的耗時(shí)。

一些術(shù)語的比較(tensorflow和pytorch/cpu和gpu/)

tensorflow和pytorch

• pytorch是一個(gè)動態(tài)框架，tensorflow是一個(gè)靜態(tài)框架。
• tensorflow是一個(gè)靜態(tài)框架體現(xiàn)在：需要先構(gòu)建一個(gè)tensorflow的計(jì)算圖，構(gòu)建好之后這樣的一個(gè)計(jì)算圖是不能變的，然后再傳入不同的數(shù)據(jù)進(jìn)去進(jìn)行計(jì)算。
• 這種靜態(tài)框架帶來的問題是：固定了計(jì)算的流程，勢必帶來不靈活性，如果要改變計(jì)算的邏輯或者是隨著時(shí)間變化的計(jì)算邏輯，這樣的動態(tài)計(jì)算tensorflow是是無法實(shí)現(xiàn)的。
• pytorch是一個(gè)動態(tài)框架，和python的邏輯一樣，對變量做任何操作都是靈活的。
• 一個(gè)好的框架需要具備三點(diǎn)：（1）對大的計(jì)算圖能方便的實(shí)現(xiàn)（2）能自動求變量的導(dǎo)數(shù)（3）能簡單的運(yùn)行在GPU上。這三點(diǎn)pytorch都可以達(dá)到
• tensorflow在gpu上的分布式計(jì)算更為出色，在數(shù)據(jù)量巨大的時(shí)候效率比pytorch要高。企業(yè)很多都是用的tensorflow，pytorch在學(xué)術(shù)科研上使用多些。
• pytorch包括三個(gè)層次：tensor/variable/module。tensor即張量的意思，由于是矩陣的運(yùn)算，所以適合在矩陣上跑。variable就是tensor的封裝，封裝的目的就是為了能夠保存住該variable在整個(gè)計(jì)算圖中的位置，能夠知道計(jì)算圖中各個(gè)變量之間的相互依賴關(guān)系，這樣就能夠反向求梯度。module是一個(gè)更高的層次，是一個(gè)神經(jīng)網(wǎng)絡(luò)的層次，可以直接調(diào)用全連接層、卷積層等神經(jīng)網(wǎng)絡(luò)。

cpu和gpu

• cpu更少的核，但是單個(gè)核的計(jì)算能力很強(qiáng)
• gpu:更多的核，每個(gè)核的計(jì)算能力不如cpu，所以更適合做并行計(jì)算，如矩陣計(jì)算，深度學(xué)習(xí)就是很多的矩陣計(jì)算。

cuda

• 直接寫cuda代碼就類似寫匯編語言
• 比cuda高級的是cudnn
• 比cudnn高級的是用框架tensorflow/caffe/pytorch

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。