解決一個(gè)pandas執(zhí)行模糊查詢(xún)sql的坑

更新時(shí)間：2021年03月05日 10:47:13 作者：onwingsofsong

這篇文章主要介紹了解決一個(gè)pandas執(zhí)行模糊查詢(xún)sql的坑，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

查詢(xún)引擎使用了presto，在sql中使用了模糊查詢(xún)。

engine = create_engine(presto_url,encoding='utf-8')
sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """
df = pd.read_sql_query(sql_exe,engine)

一直報(bào)錯(cuò)：

unsupported format character

解決方案

第一：

sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """

第二：

sql_exe ="""select id,title,tags from source.base.table where tags like %s """
 df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))

補(bǔ)充：pd.read_sql()知道這些就夠用了

如下：

pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

各參數(shù)意義

sql：SQL命令字符串

con：連接sql數(shù)據(jù)庫(kù)的engine，一般可以用SQLalchemy或者pymysql之類(lèi)的包建立

index_col：選擇某一列作為index

coerce_float：非常有用，將數(shù)字形式的字符串直接以float型讀入

parse_dates：將某一列日期型字符串轉(zhuǎn)換為datetime型數(shù)據(jù)，與pd.to_datetime函數(shù)功能類(lèi)似。可以直接提供需要轉(zhuǎn)換的列名以默認(rèn)的日期形式轉(zhuǎn)換，也可以用字典的格式提供列名和轉(zhuǎn)換的日期格式，比如{column_name: format string}（format string："%Y:%m:%H:%M:%S"）。

columns：要選取的列。一般沒(méi)啥用，因?yàn)樵趕ql命令里面一般就指定要選擇的列了

chunksize：如果提供了一個(gè)整數(shù)值，那么就會(huì)返回一個(gè)generator，每次輸出的行數(shù)就是提供的值的大小。

設(shè)置參數(shù)can–>創(chuàng)建數(shù)據(jù)庫(kù)鏈接的兩種方式

用sqlalchemy構(gòu)建數(shù)據(jù)庫(kù)鏈接

import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine
# 用sqlalchemy構(gòu)建數(shù)據(jù)庫(kù)鏈接engine
connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8'
engine = create_engine(connect_info)
# sql 命令
sql_cmd = "SELECT * FROM table"
df = pd.read_sql(sql=sql_cmd, con=engine)

用DBAPI構(gòu)建數(shù)據(jù)庫(kù)鏈接

import pandas as pd
import pymysql
# sql 命令
sql_cmd = "SELECT * FROM table"
# 用DBAPI構(gòu)建數(shù)據(jù)庫(kù)鏈接engine
con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True)
df = pd.read_sql(sql_cmd, con)