sql自動化檢查和分析工具之soar和soar-web 安裝和使用體驗

更新時間：2020年04月07日 14:19:10 作者：千里之行始于足下

這篇文章主要介紹了sql自動化檢查和分析工具之soar和soar-web 安裝和使用體驗,本文分步驟給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下

為了研究一下sql自動化檢查和分析工具，是否有網上介紹的好用，我在本地進行soar 和 soar-web的安裝和使用。

初步的實驗結果，總結如下：

1. 安裝相對來說較為麻煩，特別是soar-web的依賴包安裝，涉及到python pip相關組件的下載安裝。

2. 啟動soar-web會遇到一些奇怪問題，提示 “ImportError: No module named xxx“ 沒有安裝，但是通過python -m pip list檢查是有安裝成功的。

3. soar-web的啟動腳本run.sh，不能正常啟動；但是使用python./soar-web.py install卻可以正常啟動。

4. 數據庫類型，只支持MySQL一種

后續(xù)：

最后，綜合感覺，soar-web的功能，距離自動化SQL檢查和優(yōu)化，還有很大空間。接下來，我將繼續(xù)調研和對比剩下兩個工具：see 和 Yearning

1.see 工具

https://github.com/myide/see

2. Yearning 工具

https://github.com/cookieY/Yearning

一、soar主要步驟，如下：

step 1: 下載安裝包

# prepare dir and install
mkdir -p /opt/soft/soar && mkdir -p /opt/install/soar/{log,conf}
wget -O /opt/soft/soar/soar -c https://github.com/XiaoMi/soar/releases/download/0.11.0/soar.linux-amd64

step 2: 復制和安裝文件

# install server
mv /opt/soft/soar/soar /opt/install/soar
 
# 目錄介紹：
# 配置文件為yaml格式。一般情況下只需要配置online-dsn, test-dsn, log-output等少數幾個參數。即使不創(chuàng)建配置文件SOAR仍然會給出基本的啟發(fā)式建議。
# 默認文件會按照/etc/soar.yaml, ./etc/soar.yaml, ./soar.yaml順序加載，
# 找到第一個后不再繼續(xù)加載后面的配置文件。如需指定其他配置文件可以通過-config參數指定。
# 關于數據庫權限online-dsn需要相應庫表的SELECT權限，test-dsn需要root最高權限。
 
# 修改默認配置參數，如下
# 參考
# # 1. 修改soar.conf的基本參數
root >> cat > /opt/install/soar/conf/soar.yaml << EOF
# 線上環(huán)境配置
online-dsn:
 addr: CNT7XMYSQLD01:13306
 schema: sakila
 user: root
 password: 1t'sB1g3rt
 disable: false
# 測試環(huán)境配置
test-dsn:
 addr: CNT7XMYSQLD01:13307
 schema: test
 user: root
 password: 1t'sB1g3rt
 disable: false
# 是否允許測試環(huán)境與線上環(huán)境配置相同
allow-online-as-test: true
# 是否清理測試時產生的臨時文件
drop-test-temporary: true
# 語法檢查小工具
only-syntax-check: false
sampling-statistic-target: 100
sampling: false
# 日志級別，[0:Emergency, 1:Alert, 2:Critical, 3:Error, 4:Warning, 5:Notice, 6:Informational, 7:Debug]
log-level: 7
log-output: ${SOAR_LOG_DIR}/soar.log
# 優(yōu)化建議輸出格式
report-type: markdown
ignore-rules:
- ""
# 黑名單中的 SQL 將不會給評審意見。一行一條 SQL，可以是正則也可以是指紋，填寫指紋時注意問號需要加反斜線轉義。
blacklist: ${SOAR_CONF_DIR}/soar.blacklist
# 啟發(fā)式算法相關配置
max-join-table-count: 5
max-group-by-cols-count: 5
max-distinct-count: 5
max-index-cols-count: 5
max-total-rows: 9999999
spaghetti-query-length: 2048
allow-drop-index: false
# EXPLAIN相關配置
explain-sql-report-type: pretty
explain-type: extended
explain-format: traditional
explain-warn-select-type:
- ""
explain-warn-access-type:
- ALL
explain-max-keys: 3
explain-min-keys: 0
explain-max-rows: 10000
explain-warn-extra:
- ""
explain-max-filtered: 100
explain-warn-scalability:
- O(n)
query: ""
list-heuristic-rules: false
list-test-sqls: false
verbose: true
root >> EOF
 step 3: 準備環(huán)境變量

# env parameter and path
echo '' >> /etc/profile && \
echo 'SOAR_HOME=/opt/install/soar' >> /etc/profile && \
echo 'SOAR_CONF_DIR=$SOAR_HOME/conf' >> /etc/profile && \
echo 'SOAR_LOG_DIR=$SOAR_HOME/log' >> /etc/profile && \
echo 'PATH=$PATH:$SOAR_HOME' >> /etc/profile && \
source /etc/profile
 step 4: 文件賦予權限

chmod -R 777 $SOAR_HOME/soar
 step 5: 檢查soar全局配置生效

# 查看版本
soar -version
 
# 打印所有的啟發(fā)式規(guī)則
soar -list-heuristic-rules
 
# 打印支持的報告格式
soar -list-report-types

二、soar-web主要步驟，如下：

step 1: 安裝soar-web的依賴包

# 1.1 安裝python3 和 python3-pip 和 gcc (gcc在源代碼安裝pycryptodome等python組件時候需要)
yum install -y python36 python36-pip gcc
 
# 檢查python3安裝結果
python -V
# 檢查pip已經安裝的python組件
python3 -m pip list
# 卸載pip組件
# python3 -m pip uninstall "packagename"
 
# 1.2 flask (必須先安裝python3)
# 安裝教程：https://www.cnblogs.com/wobeinianqing/p/7650498.html
# yum install -y flask
python3 -m pip install flask
 
 
# 1.3 安裝 pymysql (必須先安裝python3)
# 安裝教程：https://blog.csdn.net/qq_37788558/article/details/73716002
# 安裝教程：https://github.com/PyMySQL/PyMySQL
python3 -m pip install PyMySQL
 
 
# 1.4 安裝 pycryptodome (必須先安裝python3)
python3 -m pip install pycryptodome
# 如果pip下載速度慢，可以用如下命令
#### 或 安裝方式2，如下
python3 -m pip install /opt/soft/soar/pycryptodome-3.9.6.tar.gz
#### 或 安裝方式3，如下
# 格式 = python3 -m pip install https://pypi.tuna.tsinghua.edu.cn/simple/simple/{包名}
# 格式 = python3 -m pip install https://pypi.doubanio.com/simple/{包名}
python3 -m pip install https://pypi.tuna.tsinghua.edu.cn/simple/pycryptodome-3.9.6.tar.gz

step 2: 安裝soar-web

# 2.1 下載soar-web的源代碼
wget -O /opt/soft/soar/soar-web-master.zip -c https://codeload.github.com/xiyangxixian/soar-web/zip/master
yum install -y unzip
unzip /opt/soft/soar/soar-web-master.zip -d /opt/soft/soar/
 
# 2.2 安裝soar-web
mkdir -p /opt/install/soar-web && \
mv /opt/soft/soar/soar-web-master/* /opt/install/soar-web
# 運行soar-web
chmod -R 777 /opt/install/soar-web/run.sh
bash /opt/install/soar-web/run.sh
 
# 2.3 或者如下方法啟動soar-web
cd /opt/install/soar-web/
python3 ./soar-web.py install

step 3:檢查端口，如下

netstat -nltp | grep 5077

step 4:客戶端，訪問URL，如下：

地址 = http://{server-ip}:5077

step 5: 配置數據庫源

線上環(huán)境參數 = 數據庫賬號:數據庫密碼@數據庫hostname:數據庫hostport/數據庫實例名稱

step 6:測試和使用SQL檢查

首先，選擇配置參數“mysql-CNT7XMYSQLD01”，然后輸入要檢查的SQL，如下圖：得到檢查SQL的結果

總結

到此這篇關于sql自動化檢查和分析工具之soar和soar-web 安裝和使用體驗的文章就介紹到這了,更多相關sql自動化檢查和分析工具內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

sql server中隨機函數NewID()和Rand()
在SQL語言中，隨機函數NEWID和rand()用法并不相同，下面就將為您示例分析這兩個隨機函數的區(qū)別，供您參考，希望對您深入理解SQL函數能起到作用
2015-10-10
SQL Server定時收縮數據庫日志為指定大小的示例代碼
SQL Server提供了DBCC SHRINKFILE 命令來清理事務日志文件,該命令可以縮小指定文件的大小,并釋放磁盤空間,本文給大家介紹了SQL Server如何定時收縮數據庫日志為指定大小,需要的朋友可以參考下
2024-03-03
sqlserver數據庫如何修改實例名稱
這篇文章主要介紹了sqlserver修改實例名稱的實例代碼,代碼簡單易懂,修改完重啟服務器就可以了,感興趣的朋友跟隨小編一起看看吧
2024-06-06
GreatSQL 在SQL中如何使用 HINT 語法修改會話變量
GreatSQL推出新的優(yōu)化Hint功能,名為SET_VAR,允許用戶在查詢語句中修改數據庫的會話變量,但只對當前查詢會話生效,不影響其他會話,本文給大家介紹GreatSQL 在SQL中如何使用 HINT 語法修改會話變量,感興趣的朋友一起看看吧
2024-10-10
SQL Server 不存在或訪問被拒絕(轉）
在使用 SQL Server 的過程中，用戶遇到最多的問題莫過于連接失敗了。一般而言，有兩種連接SQL Server 的方式，一是利用 SQL Server 自帶的客戶端工具
2009-06-06
SQLServer 數據庫的數據匯總完全解析(WITH ROLLUP)
乍一看，好像很容易，用group by好像能實現？但仔細研究下去，你又會覺得group by也是無能為力，總欠缺點什么，無從下手。那么，到底該如何做呢？別急，SQL Server早就幫我們做好了，下面，跟我來。
2010-09-09
SQL Server誤區(qū)30日談第13天在SQL Server 2000兼容模式下不能使用DMV
對于兼容模式已經存在了很多誤解。80的兼容模式的數據庫是否意味著能夠附加或恢復到SQL Server 2000數據庫?當然不是
2013-01-01
Sql Server里刪除數據表中重復記錄的例子
這篇文章主要介紹了Sql Server里刪除數據表中重復記錄的例子,本文給出了3種操作方法,需要的朋友可以參考下
2014-08-08
SQL Server出現System.OutOfMemoryException異常的解決方法
這篇文章主要介紹了SQL Server出現System.OutOfMemoryException異常的解決方法,同時提供了微軟官方的解決方案,需要的朋友可以參考下
2014-06-06
SqlServer 復制中將大事務分成小事務分發(fā)的方法
日志讀取器代理可配置將大事務劃分為多個小事務進行傳遞到分發(fā)數據庫中，分發(fā)隊列則按照小事務分發(fā)到訂閱數據庫中，這樣數據就很快同步
2016-11-11