Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法
更新時間：2018年12月10日 11:11:30 作者：DiamondTan
今天小編就為大家分享一篇Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
使用機(jī)器學(xué)習(xí)訓(xùn)練數(shù)據(jù)時，如果數(shù)據(jù)量較大可能我們不能夠一次性將數(shù)據(jù)加載進(jìn)內(nèi)存，這時我們需要將數(shù)據(jù)進(jìn)行預(yù)處理，分批次加載進(jìn)內(nèi)存。
下面是代碼作用是將數(shù)據(jù)從數(shù)據(jù)庫讀取出來分批次寫入txt文本文件，方便我們做數(shù)據(jù)的預(yù)處理和訓(xùn)練機(jī)器學(xué)習(xí)模型。
#%%
import pymssql as MySQLdb #這里是python3 如果你是python2.x的話，import MySQLdb
#數(shù)據(jù)庫連接屬性
hst = '188.10.34.18'
usr = 'sa'
passwd = 'p@ssw0rd'
db = 'HistoryTrace'
#總共多少數(shù)據(jù)
allData = 1674333
#每個批次多少條數(shù)據(jù)
dataOfEach = 20000
#批次
batch = ceil(allData/dataOfEach)
#文件名
global IDctrl
IDctrl = 1
filename = str(IDctrl)+'.txt'
#連接數(shù)據(jù)庫
conn = MySQLdb.connect(host=hst,user=usr,password=passwd,database=db)
cur=conn.cursor()
while IDctrl<batch:
#讀取數(shù)據(jù)庫
sql = 'SELECT Longitude,Latitude,Altitude,VelComOfLong,VelComOfLati,Aircraft,Section,TimeMinus\
FROM dealed1 where ID>=' + str(IDctrl) + ' and ID <' + str(IDctrl + dataOfEach)
cur.execute(sql)
rows=cur.fetchall()
#寫文件
f = open(filename,'w')
f.writelines(str(rows))
#文件名加1
IDctrl+=1
filename = str(IDctrl)+'.txt'
#關(guān)閉數(shù)據(jù)庫連接
f.close()
conn.close()
以上這篇Python從數(shù)據(jù)庫讀取大量數(shù)據(jù)批量寫入文件的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python使用tkinter實現(xiàn)搖骰子小游戲功能的代碼
這篇文章主要介紹了Python使用tkinter實現(xiàn)的搖骰子小游戲功能，本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-07-07
這篇文章主要介紹了TensorFlow實現(xiàn)批量歸一化操作的示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
這篇文章主要介紹了Python之列表的append()方法最容易踩的坑及解決，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-11-11
處理字符數(shù)據(jù)是編程不可或缺的一部分。Python?提供了一組豐富的運算符、函數(shù)和方法來處理字符串。包括字符串運算符、內(nèi)置函數(shù)、索引、切片和內(nèi)置方法?？靵韺W(xué)習(xí)一下吧2022-03-03
這篇文章主要介紹了opencv 閾值分割的具體使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
Python pygame實現(xiàn)圖像基本變換的示例詳解
pygame的transform中封裝了一些基礎(chǔ)的圖像處理函數(shù),這篇文章主要為大家介紹了pygame實現(xiàn)圖像的基本變換,例如縮放、旋轉(zhuǎn)、鏡像等,感興趣的小伙伴可以了解一下2023-11-11
這篇文章主要介紹了Python?print函數(shù):如何將對象打印輸出，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
Python實現(xiàn)登錄人人網(wǎng)并抓取新鮮事的方法
這篇文章主要介紹了Python實現(xiàn)登錄人人網(wǎng)并抓取新鮮事的方法,可實現(xiàn)Python模擬登陸并抓取新鮮事的功能,需要的朋友可以參考下2015-05-05
本篇文章給大家詳細(xì)分析了Python的優(yōu)點和缺點以及相關(guān)的優(yōu)勢劣勢分析，對此有興趣的朋友學(xué)習(xí)下。2018-02-02
python教程網(wǎng)絡(luò)爬蟲及數(shù)據(jù)可視化原理解析
這篇文章主要為大家介紹了python教程中網(wǎng)絡(luò)爬蟲及數(shù)據(jù)可視化原理的示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2021-10-10