golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)
背景
是這樣的，最近在研究一個(gè)定時(shí)任務(wù)系統(tǒng)的改造，可能有點(diǎn)像jenkins做到的那種吧。
可以輸入shell命令，也可以執(zhí)行py腳本等等，相比之前來(lái)說(shuō)，也要能夠及時(shí)停止！
但是遇到了這么個(gè)問(wèn)題，golang執(zhí)行py腳本的時(shí)候獲取不到腳本的輸出。
首先來(lái)看看go里面怎么運(yùn)行shell腳本吧，我比較喜歡執(zhí)行全部命令。
普通用法（一次性獲取所有輸出）
package main
?
import (
"fmt"
"os/exec"
)
?
func main() {
? ?Command("ls")
}
?
// 這里為了簡(jiǎn)化，我省去了stderr和其他信息
func Command(cmd string) error {
c := exec.Command("bash", "-c", cmd)
? ?// 此處是windows版本
? ?// c := exec.Command("cmd", "/C", cmd)
output, err := c.CombinedOutput()
fmt.Println(string(output))
return err
}可以看到，當(dāng)前命令執(zhí)行的是輸出當(dāng)前目錄下的文件/文件夾
實(shí)時(shí)顯示
效果圖:
package main
?
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
)
?
func main() {
// 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束
Command("ping www.baidu.com")
?
}
?
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) ?// mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}()
err = c.Start()
wg.Wait()
return err
}可關(guān)閉+實(shí)時(shí)輸出
package main
?
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
?
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
?
func Command(ctx context.Context, cmd string) error {
// c := exec.CommandContext(ctx, "cmd", "/C", cmd)
? ?c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func(wg *sync.WaitGroup) {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
// 其實(shí)這段去掉程序也會(huì)正常運(yùn)行，只是我們就不知道到底什么時(shí)候Command被停止了，而且如果我們需要實(shí)時(shí)給web端展示輸出的話，這里可以作為依據(jù) 取消展示
select {
// 檢測(cè)到ctx.Done()之后停止讀取
case <-ctx.Done():
if ctx.Err() != nil {
fmt.Printf("程序出現(xiàn)錯(cuò)誤: %q", ctx.Err())
} else {
fmt.Println("程序被終止")
}
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}(&wg)
err = c.Start()
wg.Wait()
return err
}效果圖:
可以看到輸出了3次（1秒1次）之后程序就被終止了，確切的說(shuō)是讀取輸出流的循環(huán)結(jié)束了。
執(zhí)行Python腳本(阻塞)
其實(shí)很簡(jiǎn)單，只要python -u xxx.py這樣執(zhí)行就可以了, -u參數(shù)
簡(jiǎn)單的說(shuō)就是python的輸出是有緩存的，-u會(huì)強(qiáng)制往標(biāo)準(zhǔn)流輸出，當(dāng)Python腳本阻塞的時(shí)候
也不會(huì)拿不到輸出！
其他
"bash" 和"-c"，據(jù)我的觀察，這2個(gè)參數(shù)代表在當(dāng)前cmd窗口執(zhí)行，而不加這2個(gè)參數(shù)，直接上shell的話，會(huì)啟動(dòng)一個(gè)新窗口，目前觀察是stdout拿不到數(shù)據(jù)。
仍有缺陷
上面的命令可以解決大部分問(wèn)題，但是獲取不到stderr的信息，所以我們需要改造一下。
下面是輸出和錯(cuò)誤一并輸出的實(shí)時(shí)讀取，類(lèi)似于jenkins那種。
package main
?
import (
"bufio"
"context"
"fmt"
"io"
"os/exec"
"sync"
"time"
)
?
func main() {
ctx, cancel := context.WithCancel(context.Background())
go func(cancelFunc context.CancelFunc) {
time.Sleep(3 * time.Second)
cancelFunc()
}(cancel)
Command(ctx, "ping www.baidu.com")
}
?
func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) {
reader := bufio.NewReader(std)
defer wg.Done()
for {
select {
case <-ctx.Done():
return
default:
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
fmt.Print(readString)
}
}
}
?
func Command(ctx context.Context, cmd string) error {
//c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows
c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
stderr, err := c.StderrPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
// 因?yàn)橛?個(gè)任務(wù), 一個(gè)需要讀取stderr 另一個(gè)需要讀取stdout
wg.Add(2)
go read(ctx, &wg, stderr)
go read(ctx, &wg, stdout)
// 這里一定要用start,而不是run 詳情請(qǐng)看下面的圖
err = c.Start()
// 等待任務(wù)結(jié)束
wg.Wait()
return err
}
windows輸出亂碼問(wèn)題
參考資料：http://www.dhdzp.com/article/275967.htm
最后給一個(gè)解決windows亂碼的完整案例
需要下載golang.org/x/text/encoding/simplifiedchinese
package main
?
import (
"bufio"
"fmt"
"io"
"os/exec"
"sync"
"golang.org/x/text/encoding/simplifiedchinese"
)
?
type Charset string
?
const (
UTF8 ? = Charset("UTF-8")
GB18030 = Charset("GB18030")
)
?
func main() {
// 執(zhí)行ping baidu的命令, 命令不會(huì)結(jié)束
Command("ping www.baidu.com")
?
}
?
func Command(cmd string) error {
//c := exec.Command("cmd", "/C", cmd) // windows
c := exec.Command("bash", "-c", cmd) // mac or linux
stdout, err := c.StdoutPipe()
if err != nil {
return err
}
var wg sync.WaitGroup
wg.Add(1)
go func() {
defer wg.Done()
reader := bufio.NewReader(stdout)
for {
readString, err := reader.ReadString('\n')
if err != nil || err == io.EOF {
return
}
byte2String := ConvertByte2String([]byte(readString), "GB18030")
fmt.Print(byte2String)
}
}()
err = c.Start()
wg.Wait()
return err
}
?
func ConvertByte2String(byte []byte, charset Charset) string {
var str string
switch charset {
case GB18030:
var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte)
str = string(decodeBytes)
case UTF8:
fallthrough
default:
str = string(byte)
}
return str
}概述
遠(yuǎn)程執(zhí)行命令有什么用？為什么要遠(yuǎn)程執(zhí)行命令？ 如果你只有2，3臺(tái)服務(wù)器需要管理的時(shí)候，遠(yuǎn)程執(zhí)行命令確實(shí)沒(méi)有沒(méi)多大作用，你可以登錄到每臺(tái)服務(wù)器上去完成各種操作。 當(dāng)你的服務(wù)器大于3臺(tái)的時(shí)候，遠(yuǎn)程執(zhí)行的命令的方式就可以大大提高你的生產(chǎn)力了。
如果你有一個(gè)可以遠(yuǎn)程執(zhí)行命令的工具，那么就可以像操作單臺(tái)機(jī)器那樣操作多臺(tái)機(jī)器，機(jī)器越多，效率提高的越多。 遠(yuǎn)程執(zhí)行命令最常用的方法就是利用 SSH 協(xié)議，將命令發(fā)送到遠(yuǎn)程機(jī)器上執(zhí)行，并獲取返回結(jié)果。
本文介紹如何使用 golang 實(shí)現(xiàn)遠(yuǎn)程執(zhí)行命令。
一般命令
所謂一般命令，就是在一定時(shí)間內(nèi)會(huì)執(zhí)行完的命令。比如 grep, cat 等等。 執(zhí)行命令的步驟是：連接，執(zhí)行，獲取結(jié)果
連接
連接包含了認(rèn)證，可以使用 password 或者 sshkey 2種方式來(lái)認(rèn)證。下面的示例為了簡(jiǎn)單，使用了密碼認(rèn)證的方式來(lái)完成連接。
import ( ?
"fmt"
"time"
?
"golang.org/x/crypto/ssh"
)
?
func connect(user, password, host string, port int) (*ssh.Session, error) { ?
var (
? auth ? ? ? ? []ssh.AuthMethod
? addr ? ? ? ? string
? clientConfig *ssh.ClientConfig
? client ? ? ? *ssh.Client
? session ? ? *ssh.Session
? err ? ? ? ? error
)
// get auth method
auth = make([]ssh.AuthMethod, 0)
auth = append(auth, ssh.Password(password))
?
clientConfig = &ssh.ClientConfig{
? User: ? user,
? Auth: ? auth,
? Timeout: 30 * time.Second,
}
?
// connet to ssh
addr = fmt.Sprintf("%s:%d", host, port)
?
if client, err = ssh.Dial("tcp", addr, clientConfig); err != nil {
? return nil, err
}
?
// create session
if session, err = client.NewSession(); err != nil {
? return nil, err
}
?
return session, nil
}連接的方法很簡(jiǎn)單，只要提供登錄主機(jī)的 用戶*， *密碼*， *主機(jī)名或者IP*， *SSH端口
執(zhí)行，命令獲取結(jié)果
連接成功后，執(zhí)行命令很簡(jiǎn)單
import ( ?
"fmt"
"log"
"os"
"time"
?
"golang.org/x/crypto/ssh"
)
?
func main() { ?
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
session.Run("ls /; ls /abc")
}上面代碼運(yùn)行之后，雖然命令正常執(zhí)行了，但是沒(méi)有正常輸出的結(jié)果，也沒(méi)有異常輸出的結(jié)果。 要想顯示結(jié)果，需要將 session 的 Stdout 和 Stderr 重定向 修改 func main 為如下：
func main() { ?
session, err := connect("root", "xxxxx", "127.0.0.1", 22)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Run("ls /; ls /abc")
}這樣就能在屏幕上顯示正常，異常的信息了。
交互式命令
上面的方式無(wú)法遠(yuǎn)程執(zhí)行交互式命令，比如 top ， 遠(yuǎn)程編輯一個(gè)文件，比如 vi /etc/nginx/nginx.conf 如果要支持交互式的命令，需要當(dāng)前的terminal來(lái)接管遠(yuǎn)程的 PTY。
func main() { ?
session, err := connect("root", "olordjesus", "dockers.iotalabs.io", 2210)
if err != nil {
? log.Fatal(err)
}
defer session.Close()
?
fd := int(os.Stdin.Fd())
oldState, err := terminal.MakeRaw(fd)
if err != nil {
? panic(err)
}
defer terminal.Restore(fd, oldState)
?
// excute command
session.Stdout = os.Stdout
session.Stderr = os.Stderr
session.Stdin = os.Stdin
?
termWidth, termHeight, err := terminal.GetSize(fd)
if err != nil {
? panic(err)
}
?
// Set up terminal modes
modes := ssh.TerminalModes{
? ssh.ECHO: ? ? ? ? 1, ? ? // enable echoing
? ssh.TTY_OP_ISPEED: 14400, // input speed = 14.4kbaud
? ssh.TTY_OP_OSPEED: 14400, // output speed = 14.4kbaud
}
?
// Request pseudo terminal
if err := session.RequestPty("xterm-256color", termHeight, termWidth, modes); err != nil {
? log.Fatal(err)
}
?
session.Run("top")
}這樣就可以執(zhí)行交互式命令了，比如上面的 top 也可以通過(guò) vi /etc/nginx/nignx.conf 之類(lèi)的命令來(lái)遠(yuǎn)程編輯文件。
到此這篇關(guān)于golang調(diào)用shell命令(實(shí)時(shí)輸出,終止)的文章就介紹到這了,更多相關(guān)golang調(diào)用shell命令內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了go語(yǔ)言template用法,實(shí)例分析了template的使用技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2015-02-02
Go語(yǔ)言并發(fā)編程之互斥鎖Mutex和讀寫(xiě)鎖RWMutex
Go 語(yǔ)言中提供了很多同步工具，本文將介紹互斥鎖Mutex和讀寫(xiě)鎖RWMutex的使用方法，想要具體了解的小伙伴，請(qǐng)參考下面文章詳細(xì)內(nèi)容，希望對(duì)你有所幫助2021-10-10
使用Golang的singleflight防止緩存擊穿的方法
這篇文章主要介紹了使用Golang的singleflight防止緩存擊穿的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
這篇文章主要為大家介紹了Go?Gin框架路由相關(guān)bug分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
Golang動(dòng)態(tài)數(shù)組的實(shí)現(xiàn)示例
動(dòng)態(tài)數(shù)組能自動(dòng)調(diào)整大小,與靜態(tài)數(shù)組不同,其大小不固定,可根據(jù)需求變化,實(shí)現(xiàn)通常依賴于數(shù)據(jù)結(jié)構(gòu)如鏈表或數(shù)組加額外信息,本文就來(lái)介紹一下Golang動(dòng)態(tài)數(shù)組的實(shí)現(xiàn)示例,感興趣的可以了解一下2024-10-10
這篇文章主要介紹了簡(jiǎn)單聊聊Go語(yǔ)言的注釋的相關(guān)資料,需要的朋友可以參考下2023-08-08
這篇文章主要介紹了go mod 使用私有g(shù)itlab群組的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-05-05
Go語(yǔ)言的標(biāo)準(zhǔn)庫(kù)里提供兩種類(lèi)型的計(jì)時(shí)器Timer和Ticker。這篇文章主要介紹了Go語(yǔ)言的計(jì)時(shí)器的相關(guān)知識(shí),需要的朋友可以參考下2020-05-05
淺析Go中fasthttp與net/http的性能對(duì)比及應(yīng)用
這篇文章主要為大家詳細(xì)介紹了Golang中fasthttp的底層實(shí)現(xiàn)以及與net/http的區(qū)別,下面就跟隨小編一起來(lái)看看fasthttp到底是如何做到性能如此之快的吧2024-03-03
Golang基礎(chǔ)教程之字符串string實(shí)例詳解
這篇文章主要給大家介紹了關(guān)于Golang基礎(chǔ)教程之字符串string的相關(guān)資料,需要的朋友可以參考下2022-07-07