python 實現(xiàn)多線程下載m3u8格式視頻并使用fmmpeg合并

更新時間：2019年11月15日 14:18:16 作者：s_kangkang_A

這篇文章主要介紹了python 實現(xiàn)多線程下載m3u8格式視頻，使用fmmpeg合并的實例代碼,需要的朋友可以參考下

電影之類的長視頻好像都用m3u8格式了，這就導(dǎo)致了多線程下載視頻的意義不是很大，都是短視頻，線不線程就沒什么意義了嘛。

我們知道，m3u8的鏈接會下載一個文檔，相當(dāng)長，半小時的視頻，應(yīng)該有接近千行ts鏈接。

這些ts鏈接下載成ts文件，就是碎片化的視頻，加以合并，就成了需要的視頻。

那，即便網(wǎng)速很快，下幾千行視頻，效率也就低了，更何況還要合并。我就琢磨了一下午，怎么樣才能多線程下載m3u8格式的視頻呢？

先上代碼，再說重難點：

import datetime
import os
import re
import threading
import requests
from queue import Queue
# 預(yù)下載，獲取m3u8文件，讀出ts鏈接，并寫入文檔
def down():
  # m3u8鏈接
  url = 'https://ali-video.acfun.cn/mediacloud/acfun/acfun_video/segment/3zf_GAW6nFMuDXrTLL89OZYOZ4mwxGoASH6UcZbsj1_6eAxUxtp3xm8wFmGMNOnZ.m3u8?auth_key=1573739375-474267152-0-a5aa2b6df4cb4168381bf8b04d88ddb1'
  # 當(dāng)ts文件鏈接不完整時，需拼湊
  # 大部分網(wǎng)站可使用該方法拼接，部分特殊網(wǎng)站需單獨拼接
  base_url = re.split(r"[a-zA-Z0-9-_\.]+\.m3u8", url)[0]
  # print(base_url)
  resp = requests.get(url)
  m3u8_text = resp.text
  # print(m3u8_text)
  # 按行拆分m3u8文檔
  ts_queue = Queue(10000)
  lines = m3u8_text.split('\n')
  # 找到文檔中含有ts字段的行
  concatfile = 'cache/' + "s" + '.txt'
  for line in lines:
    if '.ts' in line:
      if 'http' in line:
        # print("ts>>", line)
        ts_queue.put(line)
      else:
        line = base_url + line
        ts_queue.put(line)
        # print('ts>>',line)
      filename = re.search('([a-zA-Z0-9-]+.ts)', line).group(1).strip()
      # 一定要先寫文件，因為線程的下載是無序的，文件無法按照
      # 123456。。。去順序排序，而文件中的命名也無法保證是按順序的
      # 這會導(dǎo)致下載的ts文件無序，合并時，就會順序錯誤，導(dǎo)致視頻有問題。
      open(concatfile, 'a+').write("file %s\n" % filename)
  return ts_queue,concatfile
# 線程模式，執(zhí)行線程下載
def run(ts_queue):
  tt_name = threading.current_thread().getName()
  while not ts_queue.empty():
    url = ts_queue.get()
    r = requests.get(url, stream=True)
    filename = re.search('([a-zA-Z0-9-]+.ts)', url).group(1).strip()
    with open('cache/' + filename, 'wb') as fp:
      for chunk in r.iter_content(5242):
        if chunk:
          fp.write(chunk)
    print(tt_name + " " + filename + ' 下載成功')
# 視頻合并方法，使用ffmpeg
def merge(concatfile, name):
  try:
    path = 'cache/' + name + '.mp4'
    command = 'ffmpeg -y -f concat -i %s -crf 18 -ar 48000 -vcodec libx264 -c:a aac -r 25 -g 25 -keyint_min 25 -strict -2 %s' % (concatfile, path)
    os.system(command)
    print('視頻合并完成')
  except:
    print('合并失敗')
if __name__ == '__main__':
  name = input('請輸入視頻名稱：')
  start = datetime.datetime.now().replace(microsecond=0)
  s,concatfile = down()
  # print(s,concatfile)
  threads = []
  for i in range(15):
    t = threading.Thread(target=run, name='th-'+str(i), kwargs={'ts_queue': s})
    threads.append(t)
  for t in threads:
    t.start()
  for t in threads:
    t.join()
  end = datetime.datetime.now().replace(microsecond=0)
  print('下載耗時：' + str(end - start))
  merge(concatfile,name)
  over = datetime.datetime.now().replace(microsecond=0)
  print('合并耗時：' + str(over - end))

效果圖：

代碼開始：自己輸入視頻名稱（也可以去原網(wǎng)站爬名稱）

查看下載耗時，fmmpeg開始合并：

合并耗時：

7分多鐘，90個ts文件，接近40MB。兩秒下載完成。

更大的文件，開更多的線程。

然后我們畫畫重難點：

第一：ts文件命名問題。

我們知道，每一個線程啟動，除了隊列不會重復(fù)，那么代碼里都會重新跑（線程里的代碼），那么，1.ts，2.ts....這種命名是不可能的了，文件會被覆蓋。命名我使用了ts鏈接中的部分鏈接。

第二：合并問題。

文件的合并是根據(jù)文檔內(nèi)的順序，也就是，如果邊下載邊合并，那么，線程的無序性導(dǎo)致下載無序，文件寫入也就無序化了，合并時，時間線會錯誤，合出來的視頻就無法看。因此，文件要提前寫好才行，這和命名有很大的關(guān)聯(lián)，看代碼即知。

第三：有的m3u8是特殊處理的，代碼具有一定的局限性。

寫的時候挺難的，腦子都亂了，就這些吧，記錄一下。

對了，貼一下下載的圖：90個ts文件，一個mp4文件，一個文檔。

總結(jié)

以上所述是小編給大家介紹的python 實現(xiàn)多線程下載m3u8格式視頻并使用fmmpeg合并，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
如果你覺得本文對你有幫助，歡迎轉(zhuǎn)載，煩請注明出處，謝謝！

您可能感興趣的文章: