python實現(xiàn)按行切分文本文件的方法

更新時間：2016年04月18日 11:05:47 作者：mo_guang

這篇文章主要介紹了python實現(xiàn)按行切分文本文件的方法,涉及Python利用shell命令操作文本文件的相關(guān)技巧,需要的朋友可以參考下

本文實例講述了python實現(xiàn)按行切分文本文件的方法。分享給大家供大家參考，具體如下：

python腳本利用shell命令來實現(xiàn)文本的操作，這些命令大大減少了我們的代碼量。

比如按行切分文件并返回切分后得到的文件列表，可以利用內(nèi)建的split命令進行切分。為了返回得到的文件列表名，可以先將文件切分到自建的子目錄中，然后通過os.listdir獲取所有文件，再將這些文件移到上一級目錄(即函數(shù)參數(shù)指定的新目錄)，刪除自建子目錄，最后返回該文件名列表。

代碼如下，如發(fā)現(xiàn)問題歡迎指正:

# 創(chuàng)建新路徑
def make_dirs(path):
  if not os.path.isdir(path):
    os.makedirs(path)
# 獲取文件的行數(shù)
def get_total_lines(file_path):
  if not os.path.exists(file_path):
    return 0
  cmd = 'wc -l %s' % file_path
  return int(os.popen(cmd).read().split()[0])
# 函數(shù)split_file_by_row: 按行切分文件
# filepath: 切分的目標(biāo)文件
# new_filepath: 生成新文件的路徑
# row_cnt: 每個文件最多包含幾行
# suffix_type: 新文件后綴類型，如兩位字母或數(shù)字
# return: 切分后的文件列表
def split_file_by_row(filepath, new_filepath, row_cnt, suffix_type='-d'):
  tmp_dir = "/split_file_by_row/"
  make_dirs(new_filepath)
  make_dirs(new_filepath+tmp_dir)
  total_rows = get_total_lines(filepath)
  file_cnt = int(math.ceil(total_rows*1.0/row_cnt))
    command = "split -l%d -a2 %s %s %s" % (row_cnt, suffix_type, filepath, new_filepath+tmp_dir)
    os.system(command)
    filelist = os.listdir(new_filepath+tmp_dir)
  command = "mv %s/* %s"%(new_filepath+tmp_dir, new_filepath)
  os.system(command)
  command = "rm -r %s"%(new_filepath+tmp_dir)
  os.system(command)
  return [new_filepath+fn for fn in filelist]

更多關(guān)于Python相關(guān)內(nèi)容感興趣的讀者可查看本站專題：《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

Pytorch之卷積層的使用詳解
今天小編就為大家分享一篇Pytorch之卷積層的使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-12-12
Python中@符號的具體使用
本文主要介紹了Python中@符號的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-06-06
Python?pandas索引的設(shè)置和修改方法
索引的作用相當(dāng)于圖書的目錄，可以根據(jù)目錄中的頁碼快速找到所需的內(nèi)容,下面這篇文章主要給大家介紹了關(guān)于Python?pandas索引的設(shè)置和修改的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
2022-06-06
Python實現(xiàn)模擬瀏覽器請求及會話保持操作示例
這篇文章主要介紹了Python實現(xiàn)模擬瀏覽器請求及會話保持操作,結(jié)合實例形式分析了Python基于urllib與urllib2模塊模擬瀏覽器請求及cookie保存會話相關(guān)操作技巧,需要的朋友可以參考下
2018-07-07
使用Python合并?Excel單元格指定行列或單元格范圍
合并?Excel?單元格是?Excel?數(shù)據(jù)處理和表格設(shè)計中的一項常用操作,本文將介紹如何通過Python合并Excel?中的指定行列或單元格范圍,需要的可以了解下
2025-01-01
Python如何查找特定名稱文件
這篇文章主要介紹了Python如何查找特定名稱文件問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-08-08
教你掌握分布式訓(xùn)練PyTorch?DDP到Accelerate到Trainer
這篇文章主要為大家介紹了教你掌握分布式訓(xùn)練PyTorch?DDP到Accelerate到Trainer
2023-02-02
Pandas讀寫CSV文件的方法示例
這篇文章主要介紹了Pandas讀寫CSV文件的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-03-03
教你如何利用Python批量翻譯英文Word文檔并保留格式
本文將給大家分享一個實用的Python辦公自動化腳本利用Python批量翻譯英文Word文檔并保留格式,最終效果甚至比部分收費的軟件還要好!文中有非常詳細的代碼示例.需要的朋友可以參考下
2021-05-05
python3.7 sys模塊的具體使用
這篇文章主要介紹了python3.7 sys模塊的具體使用，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-07-07