Python 使用xlwt模塊將多行多列數(shù)據(jù)循環(huán)寫入excel文檔的操作
我就廢話不多說了,大家還是直接看代碼吧~
#!/usr/bin/python
# -*- coding: utf-8 -*-
import xlwt
import re
def host_regex(dataline):
host_regex = r"<host>(.*?)</host>"
host = re.findall(host_regex, dataline)
if host:
return host[0]
def ip_regex(dataline):
ip_regex = r"<ip>(.*?)</ip>"
ip = re.findall(ip_regex, dataline)
if ip:
return ip[0]
with open("zbx_export_hosts.xml", "r", encoding="utf8") as f:
lines = f.readlines()
alldatas = []
hostlist = []
iplist = []
for line in lines:
host = host_regex(line)
ip = ip_regex(line)
if host is not None:
hostlist.append(host)
if ip is not None:
iplist.append(ip)
hosts_ip = []
# 構(gòu)造數(shù)據(jù)結(jié)構(gòu),形如:[[a,b],[c,d],...]
multi_list = map(list, zip(hostlist, iplist))
for multi in multi_list:
hosts_ip.append(multi)
workbook = xlwt.Workbook()
worksheet = workbook.add_sheet('test')
# 關(guān)鍵代碼
for hi in enumerate(hosts_ip):
for num in range(len(hi[1])):
# 行、列、值
worksheet.write(hi[0], num, hi[1][num])
workbook.save('excelwrite.xls')
PS:其實(shí)有兩行代碼冗余,就不刪了!
補(bǔ)充知識(shí):通過python寫入xlsx大量數(shù)據(jù)問題簡(jiǎn)述
以前批處理生成數(shù)據(jù)文件都是通過c程序直接按照逗號(hào)分隔方式寫文本文件以csv保存的。但是由于有些處理的數(shù)據(jù)表直接給業(yè)務(wù)人員看,業(yè)務(wù)人員習(xí)慣使用xls,因此提了些需求改造,對(duì)于一些小于100w的數(shù)據(jù)均要求改為xlsx文件格式的報(bào)表。
考慮報(bào)表文件數(shù)據(jù)處理便捷,因此決定用python實(shí)現(xiàn),最初使用了openpyxl庫(kù),這個(gè)python庫(kù)擁有非常強(qiáng)大的xlsx的讀寫api,能夠很方便的實(shí)現(xiàn)讀寫。但是在實(shí)際使用中發(fā)現(xiàn)在處理較大行數(shù)的xlsx時(shí),占用內(nèi)存非常嚴(yán)重,8個(gè)字段50w行數(shù)據(jù)在運(yùn)行中內(nèi)存高達(dá)10G,這不是我們應(yīng)用服務(wù)器能夠接受的范圍。
因此尋求改善,在網(wǎng)上了解后,發(fā)現(xiàn)創(chuàng)建xlsx表時(shí),指定write_only參數(shù)是openpyxl提供的大數(shù)據(jù)寫入解決方案,以下摘自官網(wǎng)范例,在選擇了此參數(shù)后,無法通過ws.cell(row=i, column=j).value = ? 的方式復(fù)制,只能通過append的方式追加行。關(guān)于設(shè)置只寫cell設(shè)置樣式,可以直接查看官網(wǎng)
>>> from openpyxl import Workbook
>>> wb = Workbook(write_only=True)
>>> ws = wb.create_sheet()
>>>
>>> # now we'll fill it with 100 rows x 200 columns
>>>
>>> for irow in range(100):
... ws.append(['%d' % i for i in range(200)]) #可以先將一行的數(shù)據(jù)寫在一個(gè)list中,直接ws.append(list)
>>> # save the file
>>> wb.save('new_big_file.xlsx') # doctest: +SKIP
不過僅僅按上述范例修改write_only跑數(shù)時(shí)發(fā)現(xiàn)內(nèi)存占用并沒有緩解,再仔細(xì)閱讀官網(wǎng)說明時(shí)才發(fā)現(xiàn)這么一句話“When you want to dump large amounts of data make sure you have lxml installed.”原來在openpyxl安裝時(shí),并沒有把lxml作為強(qiáng)依賴,只是一個(gè)可選包,然后查實(shí)發(fā)現(xiàn)確實(shí)服務(wù)器上并沒有安裝lxml包。
于是與為了解決這個(gè)問題先在測(cè)試環(huán)境上安裝lxml,安裝過程也不是很順利。
首先先要裝libxml2以及l(fā)ibxslt,因?yàn)闆]有root權(quán)限,均為源碼安裝,且只能安裝在用戶目錄。需要注意的是libxml2在安裝時(shí)需要--with-python='python安裝目錄',libxslt安裝的時(shí)候需要指定libxml2安裝目錄。
尤其最后的lxml安裝也是坑挺多的,主要是指定libxml2和libxslt,安裝lxml時(shí)先python3 setup.py build_ext -i -I${libxml2includepath} -L${libxml2libpath} -I${libxsltincludepath} -L${libxsltlibpath} ,再python3 setup.py install。
全部安裝完之后,確實(shí)openpyxl寫xlsx不再增加內(nèi)存,先在tmp目錄一個(gè)臨時(shí)文件中寫,待調(diào)用save方法時(shí),保存到正式文件。
此外在這個(gè)問題解決中,還了解到writexlsx庫(kù)也可以處理大文件xlsx的寫入,并且安裝沒有這么多的依賴,其實(shí)還是非常推薦,也很簡(jiǎn)介,官網(wǎng)有介紹。
操作大文件時(shí)指定{'constant_memory': True}即可。
filename = 'test.xlsx'
wb = xlsxwriter.Workbook(filename, {'constant_memory': True})
ws = wb.add_worksheet('大文件')
i = 0
data= []
data.append('中文')
data.append(1323)
data.append('abc')
ws.write_row(i, 0, data)
i = i + 1
wb.close() #直接關(guān)閉即可,不需要額外save
以上這篇Python 使用xlwt模塊將多行多列數(shù)據(jù)循環(huán)寫入excel文檔的操作就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python數(shù)據(jù)結(jié)構(gòu)之循環(huán)鏈表詳解
- Python 循環(huán)讀取數(shù)據(jù)內(nèi)存不足的解決方案
- python 使用xlsxwriter循環(huán)向excel中插入數(shù)據(jù)和圖片的操作
- Python matplotlib讀取excel數(shù)據(jù)并用for循環(huán)畫多個(gè)子圖subplot操作
- python 循環(huán)數(shù)據(jù)賦值實(shí)例
- Python中l(wèi)ist循環(huán)遍歷刪除數(shù)據(jù)的正確方法
- Python中循環(huán)后使用list.append()數(shù)據(jù)被覆蓋問題的解決
- python循環(huán)某一特定列的所有行數(shù)據(jù)(方法示例)
相關(guān)文章
python PyQt5中單行文本輸入控件QLineEdit用法詳解
在PyQt5的GUI編程中,QLineEdit控件是一個(gè)用于輸入和編輯單行文本的部件,它提供了豐富的功能和靈活性,可以輕松地實(shí)現(xiàn)用戶輸入的捕獲、驗(yàn)證和格式化等功能,本文將通過實(shí)際案例詳細(xì)介紹QLineEdit控件的常用方法,需要的朋友可以參考下2024-08-08
Python通過matplotlib畫雙層餅圖及環(huán)形圖簡(jiǎn)單示例
這篇文章主要介紹了Python通過matplotlib畫雙層餅圖及環(huán)形圖簡(jiǎn)單示例,具有一定借鑒價(jià)值,需要的朋友可以參考下。2017-12-12
PyTorch中torch.utils.data.DataLoader實(shí)例詳解
torch.utils.data.DataLoader主要是對(duì)數(shù)據(jù)進(jìn)行batch的劃分,下面這篇文章主要給大家介紹了關(guān)于PyTorch中torch.utils.data.DataLoader的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-09-09
全面剖析Python的Django框架中的項(xiàng)目部署技巧
這篇文章主要全面剖析了Python的Django框架的部署技巧,包括Fabric等自動(dòng)化部署和建立單元測(cè)試等方面,強(qiáng)烈推薦!需要的朋友可以參考下2015-04-04
利用pyproj將經(jīng)緯度投影為平面坐標(biāo)以及地理坐標(biāo)系背景知識(shí)解讀
這篇文章主要介紹了利用pyproj將經(jīng)緯度投影為平面坐標(biāo)以及地理坐標(biāo)系背景知識(shí)解讀,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06

