Shell多線程操作及線程數(shù)控制實例
前言
在業(yè)務(wù)開發(fā)過程中,經(jīng)常會在后臺寫一些shell腳本處理數(shù)據(jù),但估計很多人不知道shell腳本也可以支持多線程,而且非常簡單。本篇文章主要就是介紹shell實現(xiàn)多進程以及進程數(shù)量控制。
需求
為了更好的說明問題,我們結(jié)合例子講解,假設(shè)需求就是掃描url.txt文件,然后判斷里面的URL是否失效。url.txt文件的內(nèi)容是一行一個URL,如:
http://www.baidu.com
http://www.google.com
http://www.dhdzp.com
單進程實現(xiàn)
那么shell腳本scanUrl.sh可以這樣寫:
#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
}
done < $1
echo "執(zhí)行結(jié)束"
那么可以執(zhí)行下面的命令掃描:
/bin/sh scanUrl.sh url.txt
但這樣腳本執(zhí)行非常慢,一萬個URL幾個小時都掃描不完。
多進程實現(xiàn)
改成多進程實現(xiàn)非常簡單,只需要在do后面的大括號加 & 符號,在done后面加一個wait,表示父進程等待子進程退出后再退出
#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
}
}&
done < $1
wait
echo "執(zhí)行結(jié)束"
這樣就能多進程并發(fā)執(zhí)行了,但有個問題是進程會一下子非常多,幾百上千,超過系統(tǒng)限制報錯,下面我們就加上進程數(shù)控制。
多進程實現(xiàn)并控制進程數(shù)
#!/bin/bash
#允許的進程數(shù)
THREAD_NUM=200
#定義描述符為9的管道
mkfifo tmp
exec 9<>tmp
#預(yù)先寫入指定數(shù)量的換行符,一個換行符代表一個進程
for ((i=0;i<$THREAD_NUM;i++))
do
echo -ne "\n" 1>&9
done
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi
while read line
do
{
#進程控制
read -u 9
{
#isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
echo -ne "\n" 1>&9
}&
}
done < $1
wait
echo "執(zhí)行結(jié)束"
rm tmp
上面的代碼就可以保證子進程在指定數(shù)量了,其進程控制原理是通過管道實現(xiàn)的,當(dāng)管道無內(nèi)容可讀時就不會執(zhí)行
{
#isok=`curl -I -o /dev/null -s -w %{http_code} $line`
if [ "$isok" = "200" ]; then
echo $line "OK"
else
echo $line "no"
fi
#寫入一個換行符
echo -ne "\n" 1>&9
}&
而且每個進程執(zhí)行完成后都會向管道寫入一個換行符,從而保證進程數(shù)是指定的。
這樣就能達到我們的目的了。
相關(guān)文章
用shell腳本在mysql表中批量插入數(shù)據(jù)的方法
這篇文章主要介紹了用shell腳本在mysql表中批量插入數(shù)據(jù)的方法,需要的朋友可以參考下2014-03-03
使用Bash腳本自動化清理Nacos日志文件的實現(xiàn)方法
在現(xiàn)代的分布式系統(tǒng)中,Nacos作為服務(wù)發(fā)現(xiàn)、配置管理和動態(tài)服務(wù)管理的核心組件,其日志文件的管理顯得尤為重要,隨著系統(tǒng)的運行,日志文件會不斷累積,占用大量磁盤空間,本文將介紹如何通過一個簡單的 Bash 腳本自動化清理 Nacos 的日志文件,需要的朋友可以參考下2025-04-04

