python如何使用opencv提取光流詳解
前言
光流flow特征中包含了一個視頻當中運動相關(guān)的信息,在視頻動作定位當中光流特征使用的比較多,所以記錄一下提取光流特征的方法。
使用的方法是TVL1方法,最終提取的光流圖片還可以配合I3D模型進行特征的提取。光流的計算先需要將視頻一幀一幀提取出來,然后再通過連續(xù)兩幀之間的差異進行計算。
提取幀
提取視頻的幀的算法如下:
其中video_list.txt中寫的是視頻的名字,也就是告訴程序需要將那些視頻提取幀:

videos中存放視頻,與video_list.txt中寫的視頻名字對應(yīng)

import cv2
import numpy as np
import os
import multiprocessing
video_root = 'video_list.txt'
root = 'videos'
out_root = 'frames'
suffix = '.jpg'
def save_image(root, vid_name, num, image):
file_name = os.path.join(root, vid_name, str(num) + suffix)
# print(file_name)
cv2.imwrite(file_name, image)
def process(vid_path, preffix):
videoCapture = cv2.VideoCapture(vid_path)
i = 0
while True:
success, frame = videoCapture.read()
if success:
i = i + 1
save_image(out_root, preffix, i, frame)
# print('save image vid name: ', file_name, '; frame num: ', i)
else:
break
def main(root):
if not os.path.exists(out_root):
os.mkdir(out_root)
# path_list = os.listdir(root)
path_list = []
#### 讀取txt中視頻信息 ####
with open(video_root, 'r') as f:
for id, line in enumerate(f):
video_name = line.strip().split()
path_list.append(video_name[0])
pool = multiprocessing.Pool(processes=4)
for file_name in path_list:
path = os.path.join(root, file_name)
preffix = file_name.split('.')[0]
dir_name = os.path.join(out_root, preffix)
if not os.path.exists(dir_name):
os.mkdir(dir_name)
pool.apply_async(process, args=(path, preffix))
# process(path,preffix)
pool.close()
pool.join()
if __name__ == '__main__':
main(root)
print("finish!!!!!!!!!!!!!!!!!!")運行完這個程序就能將需要提取的視頻幀放在frames對應(yīng)的目錄下。

提取flow光流
提取光流使用了opencv模塊,主要通過上面提取的視頻幀進行計算,光流計算使用cpu資源比較多,所以會計算很長時間。
光流提取的代碼如下:
import cv2
import os
import numpy as np
import glob
import multiprocessing
###### 使用frames幀進行 flow光流計算
video_root = 'video_list.txt'
root = 'frames'
out_root = 'flow'
def cal_for_frames(video_path):
# print(video_path)
frames = glob.glob(os.path.join(video_path, '*.jpg'))
frames.sort()
flow = []
prev = cv2.imread(frames[0])
prev = cv2.cvtColor(prev, cv2.COLOR_BGR2GRAY)
for i, frame_curr in enumerate(frames[1:]):
curr = cv2.imread(frame_curr)
curr = cv2.cvtColor(curr, cv2.COLOR_BGR2GRAY)
tmp_flow = compute_TVL1(prev, curr)
flow.append(tmp_flow)
prev = curr
return flow
def compute_TVL1(prev, curr, bound=15):
TVL1 = cv2.optflow.DualTVL1OpticalFlow_create()
flow = TVL1.calc(prev, curr, None)
assert flow.dtype == np.float32
flow = (flow + bound) * (255.0 / (2 * bound))
flow = np.round(flow).astype(int)
flow[flow >= 255] = 255
flow[flow <= 0] = 0
return flow
def save_flow(video_flows, flow_path):
if not os.path.exists(flow_path):
os.mkdir(os.path.join(flow_path))
for i, flow in enumerate(video_flows):
cv2.imwrite(os.path.join(flow_path, str(i) + '_x.jpg'), flow[:, :, 0])
cv2.imwrite(os.path.join(flow_path, str(i) + '_y.jpg'), flow[:, :, 1])
def process(video_path, flow_path):
flow = cal_for_frames(video_path)
save_flow(flow, flow_path)
def extract_flow(root, out_root):
if not os.path.exists(out_root):
os.mkdir(out_root)
# dir_list = os.listdir(root)
dir_list = []
### 讀取txt中視頻信息
with open(video_root, 'r') as f:
for id, line in enumerate(f):
video_name = line.strip().split()
preffix = video_name[0].split('.')[0]
dir_list.append(preffix)
pool = multiprocessing.Pool(processes=4)
for dir_name in dir_list:
video_path = os.path.join(root, dir_name)
flow_path = os.path.join(out_root, dir_name)
# flow = cal_for_frames(video_path)
# save_flow(flow,flow_path)
# print('save flow data: ',flow_path)
# process(video_path,flow_path)
pool.apply_async(process, args=(video_path, flow_path))
pool.close()
pool.join()
if __name__ == '__main__':
extract_flow(root, out_root)
print("finish!!!!!!!!!!!!!!!!!!")環(huán)境配置
提取光流時需要使用到cv2.optflow.DualTVL1OpticalFlow_create(),這玩意安裝有時候會有版本問題,所以安裝的opencv-python和pencv-contrib-python最好版本相同
pip install opencv-python==4.1.2.30 pip install opencv-contrib-python==4.1.2.30
結(jié)果
最終flow光流圖和提取的幀之間如下圖所示,可以看到一些梳頭發(fā)的動作變化。

總結(jié)
記錄一下光流特征提取的算法,方便自己之后進行使用。
代碼倉庫:https://github.com/zhou-ning/pytorch-i3d
到此這篇關(guān)于python如何使用opencv提取光流的文章就介紹到這了,更多相關(guān)python opencv提取光流內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python socket套接字實現(xiàn)C/S模式遠程命令執(zhí)行功能案例
這篇文章主要介紹了Python socket套接字實現(xiàn)C/S模式遠程命令執(zhí)行功能,涉及Python socket套接字編寫服務(wù)器/客戶機模式數(shù)據(jù)傳輸相關(guān)操作技巧,需要的朋友可以參考下2018-07-07
Python 轉(zhuǎn)換文本編碼實現(xiàn)解析
這篇文章主要介紹了Python 轉(zhuǎn)換文本編碼實現(xiàn)解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值2019-08-08
python百行代碼自制電腦端網(wǎng)速懸浮窗的實現(xiàn)
這篇文章主要介紹了python百行代碼自制電腦端網(wǎng)速懸浮窗的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-05-05
PyTorch 解決Dataset和Dataloader遇到的問題
今天小編就為大家分享一篇PyTorch 解決Dataset和Dataloader遇到的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-01-01
解決python中os.system調(diào)用exe文件的問題
這篇文章主要介紹了解決python中os.system調(diào)用exe文件的問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-05-05

