使用python將excel數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫過程詳解
因?yàn)樾枰獙?duì)數(shù)據(jù)處理,將excel數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫,記錄一下過程。
使用到的庫:xlrd 和 pymysql (如果需要寫到excel可以使用xlwt)
直接丟代碼,使用python3,注釋比較清楚。
import xlrd
import pymysql
# import importlib
# importlib.reload(sys) #出現(xiàn)呢reload錯(cuò)誤使用
def open_excel():
try:
book = xlrd.open_workbook("XX.xlsx") #文件名,把文件與py文件放在同一目錄下
except:
print("open excel file failed!")
try:
sheet = book.sheet_by_name("sheet名稱") #execl里面的worksheet1
return sheet
except:
print("locate worksheet in excel failed!")
#連接數(shù)據(jù)庫
try:
db = pymysql.connect(host="127.0.0.1",user="root",
passwd="XXX",
db="XXX",
charset='utf8')
except:
print("could not connect to mysql server")
def search_count():
cursor = db.cursor()
select = "select count(id) from XXXX" #獲取表中xxxxx記錄數(shù)
cursor.execute(select) #執(zhí)行sql語句
line_count = cursor.fetchone()
print(line_count[0])
def insert_deta():
sheet = open_excel()
cursor = db.cursor()
for i in range(1, sheet.nrows): #第一行是標(biāo)題名,對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開始,計(jì)算機(jī)以0開始計(jì)數(shù),所以值是1
name = sheet.cell(i,0).value #取第i行第0列
data = sheet.cell(i,1).value#取第i行第1列,下面依次類推
print(name)
print(data)
value = (name,data)
print(value)
sql = "INSERT INTO XXX(name,data)VALUES(%s,%s)"
cursor.execute(sql,value) #執(zhí)行sql語句
db.commit()
cursor.close() #關(guān)閉連接
insert_deta()
db.close()#關(guān)閉數(shù)據(jù)
print ("ok ")
XXX里自行修改自己的名稱。
說明:對(duì)于不規(guī)則的單元格,例如合并過的單元格會(huì)取到空值。
優(yōu)化了一下這個(gè)程序
import pymysql
import xlrd
# 連接數(shù)據(jù)庫
try:
db = pymysql.connect(host="127.0.0.1", user="root",
passwd="XXX",
db="XXX",
charset='utf8')
except:
print("could not connect to mysql server")
def open_excel():
try:
book = xlrd.open_workbook("XXX.xlsx") #文件名,把文件與py文件放在同一目錄下
except:
print("open excel file failed!")
try:
sheet = book.sheet_by_name("XXX") #execl里面的worksheet1
return sheet
except:
print("locate worksheet in excel failed!")
def insert_deta():
sheet = open_excel()
cursor = db.cursor()
row_num = sheet.nrows
for i in range(1, row_num): # 第一行是標(biāo)題名,對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開始,計(jì)算機(jī)以0開始計(jì)數(shù),所以值是1
row_data = sheet.row_values(i)
value = (row_data[0],row_data[1],row_data[2],row_data[3])
print(i)
sql = "INSERT INTO demo_yangben(xxx,xxxx,xxxx,xxxx)VALUES(%s,%s,%s,%s)"
cursor.execute(sql, value) # 執(zhí)行sql語句
db.commit()
cursor.close() # 關(guān)閉連接
open_excel()
insert_deta()
再改一下,每一萬條數(shù)據(jù)寫入到數(shù)據(jù)庫一次
import pymysql
import xlrd
import sys
'''
連接數(shù)據(jù)庫
args:db_name(數(shù)據(jù)庫名稱)
returns:db
'''
def mysql_link(de_name):
try:
db = pymysql.connect(host="127.0.0.1", user="xxx",
passwd="xxx",
db=xxx,
charset='utf8')
return db
except:
print("could not connect to mysql server")
'''
讀取excel函數(shù)
args:excel_file(excel文件,目錄在py文件同目錄)
returns:book
'''
def open_excel(excel_file):
try:
book = xlrd.open_workbook(excel_file) # 文件名,把文件與py文件放在同一目錄下
print(sys.getsizeof(book))
return book
except:
print("open excel file failed!")
'''
執(zhí)行插入操作
args:db_name(數(shù)據(jù)庫名稱)
table_name(表名稱)
excel_file(excel文件名,把文件與py文件放在同一目錄下)
'''
def store_to(db_name, table_name, excel_file):
db = mysql_link(db_name) # 打開數(shù)據(jù)庫連接
cursor = db.cursor() # 使用 cursor() 方法創(chuàng)建一個(gè)游標(biāo)對(duì)象 cursor
book = open_excel(excel_file) # 打開excel文件
sheets = book.sheet_names() # 獲取所有sheet表名
for sheet in sheets:
sh = book.sheet_by_name(sheet) # 打開每一張表
row_num = sh.nrows
print(row_num)
list = [] # 定義列表用來存放數(shù)據(jù)
num = 0 # 用來控制每次插入的數(shù)量
for i in range(1, row_num): # 第一行是標(biāo)題名,對(duì)應(yīng)表中的字段名所以應(yīng)該從第二行開始,計(jì)算機(jī)以0開始計(jì)數(shù),所以值是1
row_data = sh.row_values(i) # 按行獲取excel的值
value = (row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
row_data[13], row_data[14])
list.append(value) # 將數(shù)據(jù)暫存在列表
num += 1
if( num>= 10000 ): # 每一萬條數(shù)據(jù)執(zhí)行一次插入
print(sys.getsizeof(list))
sql = "INSERT INTO " + table_name + " (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.executemany(sql, list) # 執(zhí)行sql語句
num = 0 # 計(jì)數(shù)歸零
list.clear() # 清空list
print("worksheets: " + sheet + " has been inserted 10000 datas!")
print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
db.commit() # 提交
cursor.close() # 關(guān)閉連接
db.close()
if __name__ == '__main__':
store_to('demo', 'demo_yangben', 'xxx.xlsx')
思考,如果數(shù)據(jù)插入有錯(cuò)誤,怎么解決,
其實(shí)有很多數(shù)據(jù)庫工具可以直接來解決這個(gè)問題,注意字符轉(zhuǎn)換的格式就好。
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python接口自動(dòng)化淺析logging日志原理及模塊操作流程
這篇文章主要為大家介紹了Python接口自動(dòng)化系列文章淺析logging日志原理及模塊操作流程,文中詳細(xì)說明了為什么需要日志?日志是什么?以及日志用途等基本的原理2021-08-08
python使用cartopy庫繪制臺(tái)風(fēng)路徑代碼
大家好,本篇文章主要講的是python使用cartopy庫繪制臺(tái)風(fēng)路徑代碼,感興趣的同學(xué)趕快來看一看吧,對(duì)你有幫助的話記得收藏一下2022-02-02
如何利用python批量提取txt文本中所需文本并寫入excel
最近幫人寫了幾個(gè)小程序,所以記錄下,下面這篇文章主要給大家介紹了關(guān)于如何利用python批量提取txt文本中所需文本并寫入excel的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
Python實(shí)現(xiàn)圖像隨機(jī)添加椒鹽噪聲和高斯噪聲
圖像噪聲是指存在于圖像數(shù)據(jù)中的不必要的或多余的干擾信息。在噪聲的概念中,通常采用信噪比(Signal-Noise?Rate,?SNR)衡量圖像噪聲。本文將利用Python實(shí)現(xiàn)對(duì)圖像隨機(jī)添加椒鹽噪聲和高斯噪聲,感興趣的可以了解一下2022-09-09
pyspark給dataframe增加新的一列的實(shí)現(xiàn)示例
這篇文章主要介紹了pyspark給dataframe增加新的一列的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
python實(shí)現(xiàn)按行切分文本文件的方法
這篇文章主要介紹了python實(shí)現(xiàn)按行切分文本文件的方法,涉及Python利用shell命令操作文本文件的相關(guān)技巧,需要的朋友可以參考下2016-04-04

