pandas中read_sql使用參數(shù)進(jìn)行數(shù)據(jù)查詢的實現(xiàn)
pandas.read_sql 可以在數(shù)據(jù)庫中執(zhí)行指定的SQL語句查詢或?qū)χ付ǖ恼麖埍磉M(jìn)行查詢,以DataFrame 的類型返回查詢結(jié)果,這是在跟數(shù)據(jù)庫進(jìn)行交互操作時很重要的一步——既讀取數(shù)據(jù),還返回DataFrame方便處理。
要解決的問題: 編寫過的SQL語句需要重復(fù)使用,這就涉及到參數(shù),使用參數(shù)來替換條件,然后根據(jù)需要替換參數(shù)。
一、之前的處理方法
在沒有使用參數(shù)之前,我一直使用的是正則法,也就是利用 re.sub 這個方法將需要的SQL內(nèi)容替換掉,這樣的好處就是可以替換任意內(nèi)容,缺點(diǎn)就是必須每次使用的時候 import re.sub。
from re import sub
import sqlalchemy
import pandas as pd
# 創(chuàng)建數(shù)據(jù)庫連接,這里使用的是pymysql
engine = sqlalchemy.create_engine("mysql+pymysql://username:password@ip:port/store_name")
sql = "select * from test where id = 'pid'"
# 使用 sub 進(jìn)行數(shù)據(jù)替換
data = pd.read_sql(sub("pid", '1', sql), engine)
在這里使用的時候 pid 是為了統(tǒng)一處理才用的標(biāo)識名,這樣在以后不管什么時候都只需要對 pid 進(jìn)行替換即可。
有一點(diǎn)需要注意的是 sub 替換后的傳入是字符串,但是傳入到 替換到SQL中是不會變的。比如
sql = "select * from test where id = pid" data =
pd.read_sql(sub("pid", '1', sql), engine)
進(jìn)行 sub("pid", '1',> sql) 操作后 SQL 變成了
sql select * from test where id = 1
如果 id 字段是 int 類型那就沒問題,但是如果 id 字段是 char 或 varchar 等其他類型就會出現(xiàn)字段類型是字符串但給的是數(shù)字(mysql 很寬容,不一定會報錯,但是從數(shù)據(jù)類型上來說肯定是錯了)
二、使用 read_sql 中的 params 傳入?yún)?shù)
1.文檔說明
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)[source]
read_sql 方法中已經(jīng)有了 params 這個參數(shù),這個就是可以進(jìn)行參數(shù)的傳遞,具體的描述如下
params : list, tuple or dict, optional, default: None
List of parameters to pass to execute method. The syntax used to pass parameters is database driver dependent. Check your database driver documentation for which of the five syntax styles, described in PEP 249’s paramstyle, is supported. Eg. for psycopg2, uses %(name)s so use params={‘name’ : ‘value’}
意思就是可以使用功能 list, tuple or dict 傳遞參數(shù),但是如何怎么設(shè)置參數(shù)和傳遞參數(shù)需要依據(jù)使用的數(shù)據(jù)庫引擎。PEP 249’s paramstyle 如下表
| paramstyle | Meaning |
|---|---|
| qmark | Question mark style, e.g. …WHERE name=? |
| numeric | Numeric, positional style, e.g. …WHERE name=:1 |
| named | Named style, e.g. …WHERE name=:name |
| format | ANSI C printf format codes, e.g. …WHERE name=%s |
| pyformat | Python extended format codes, e.g. …WHERE name=%(name)s |
總結(jié)下就是在SQL語句中使用?, :1, :name, %s, %設(shè)置參數(shù),然后在params 使用 list, tuple or dict 進(jìn)行參數(shù)的傳遞
2.具體的使用
from re import sub
import sqlalchemy
import pandas as pd
# 創(chuàng)建數(shù)據(jù)庫連接
engine = sqlalchemy.create_engine("mysql+pymysql://username:password@ip:port/store_name")
sql = "select * from test where id = %(pid)s"
# 使用 params 進(jìn)行參數(shù)傳遞
data = pd.read_sql(sql, engine, params={'pid': '1'})
具體的參數(shù)就如上面代碼所示,使用了 %(pid)s 設(shè)置參數(shù),再用params={‘pid’: ‘1’}傳遞參數(shù),在Stack Overflow上有個提問也是關(guān)于這個的,里面還有關(guān)于psycopg2 和SQLite 的參數(shù)傳遞。
三、總結(jié)對比
之前沒有想過使用參數(shù),是因為在SQL中我不僅要替換固定條件,而且有時候需要替換大段的SQL,所以使用 sub 會更靈活也更模糊(傳入的是字符串,到了SQL里面數(shù)字還是字符串得再處理一遍),但是使用方法自帶的參數(shù)傳遞可以很明確的傳遞正確的數(shù)據(jù)和數(shù)據(jù)類型,而且不覺得使用方法自帶的參數(shù)傳遞很優(yōu)雅?
四、字符串的格式化
對于參數(shù)的傳遞還有另外一種就是python中的字符串格式化,format函數(shù)可以實現(xiàn)不帶參數(shù)、帶索引參數(shù)、帶關(guān)鍵字參數(shù),python的字符串格式化可以參考python格式化輸出
下面是format的使用示例
in : print("{one} are {two} {three}".format(one='you', two=1, three='pig'))
out: you are 1 pig
這里的1應(yīng)該為a,但是為了演示傳遞整數(shù)參數(shù)
到此這篇關(guān)于pandas中read_sql使用參數(shù)進(jìn)行數(shù)據(jù)查詢的實現(xiàn)的文章就介紹到這了,更多相關(guān)pandas read_sql查詢內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python數(shù)據(jù)分析的八種處理缺失值方法詳解
缺失值可能是數(shù)據(jù)科學(xué)中最不受歡迎的值,然而,它們總是在身邊。忽略缺失值也是不合理的,因此我們需要找到有效且適當(dāng)?shù)靥幚硭鼈兊姆椒?/div> 2021-11-11
Python入門教程(四十一)Python的NumPy數(shù)組索引
這篇文章主要介紹了Python入門教程(四十一)Python的NumPy數(shù)組索引,數(shù)組索引是指使用方括號([])來索引數(shù)組值,numpy提供了比常規(guī)的python序列更多的索引工具,除了按整數(shù)和切片索引之外,數(shù)組可以由整數(shù)數(shù)組索引、布爾索引及花式索引,需要的朋友可以參考下2023-05-05
對Python模塊導(dǎo)入時全局變量__all__的作用詳解
今天小編就為大家分享一篇對Python模塊導(dǎo)入時全局變量__all__的作用詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python 調(diào)用有道翻譯接口實現(xiàn)翻譯
這篇文章主要介紹了Python 調(diào)用有道翻譯接口實現(xiàn)翻譯,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03最新評論

