KubeSphere接入外部Elasticsearch實戰(zhàn)示例
更新時間：2022年12月11日 15:22:23 作者：KubeSphere
這篇文章主要為大家介紹了KubeSphere接入外部Elasticsearch實戰(zhàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
引言
在安裝完成時候可以啟用日志組件，這樣會安裝 ES 組件并可以收集所有部署組件的日志，也可以收集審計日志，然后可以很方便的在 KubeSphere 平臺上進(jìn)行日志查詢。
但是在實際使用過程中發(fā)現(xiàn)使用 KubeSphere 自身的 ES 會很重，而且官方也建議我們將日志接入到外部的 ES 中減輕 Kubernetes 的壓力。
以下為操作實戰(zhàn)。
前置步驟
ES 集群需支持 http 協(xié)議
1?? 搭建好外部 ES 集群，使用 http 協(xié)議（非本文重點）。
測試環(huán)境 IP: 172.30.10.226,172.30.10.191,172.30.10.184
port: 9200
username: elastic
password: changeme
2?? 對 ES 做負(fù)載均衡。
有三種常見的做法：
- 使用 nginx 做負(fù)載均衡；
- 單協(xié)調(diào)節(jié)點；
- 通過自定義 service 和 endpoints 負(fù)載均衡。
本文檔基于第三種負(fù)載均衡方案（通過 endpoints 負(fù)載）做對接。
備份 ks-installer
管理員賬號登錄 KubeSphere，在平臺管理 - 集群管理 - CRD 中搜索 clusterconfiguration，在自定義資源中，點擊 ks-installer 選擇編輯 YAML ，復(fù)制備份。
關(guān)閉內(nèi)部 ES 對接外部 ES（如果未開啟日志則省略）
集群開啟了內(nèi)部 Elasticsearch，會存在如下系統(tǒng)組件和日志接收器
1?? 系統(tǒng)組件：
2?? 日志接收器：
容器日志、資源事件、審計日志（不開啟不會有日志接收器）
接收器地址為內(nèi)部 Elasticsearch 地址：elasticsearch-logging-data.kubesphere-logging-system.svc:9200
關(guān)閉內(nèi)部 ES 并卸載日志相關(guān)可插拔組件
執(zhí)行命令編輯 ks-installer：
$ kubectl edit cc ks-installer -n kubesphere-system
1?? 卸載日志系統(tǒng)，將 ks-installer 參數(shù)的 logging.enabled 字段的值從 true 改為 false。
2?? 卸載事件日志系統(tǒng)，將 ks-installer 參數(shù)的 events.enabled 字段的值從 true 改為 false。
3?? 卸載審計日志系統(tǒng)，將 ks-installer 參數(shù)的 auditing.enabled 字段的值從 true 改為 false。
4?? 配置文件的最后，刪除如下內(nèi)容：
es:
enabledTime: 2022-08-16T10:33:18CST
status: enabled
events:
enabledTime: 2022-04-15T16:22:59CST
status: enabled
fluentbit:
enabledTime: 2022-04-15T16:19:46CST
status: enabled
logging:
enabledTime: 2022-04-15T16:22:59CST
status: enabled
執(zhí)行命令檢查安裝過程：
$ kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f
#日志出現(xiàn)以下內(nèi)容說明重啟成功
Collecting installation results ...
#####################################################
### Welcome to KubeSphere! ###
#####################################################
Console: http://172.30.9.xxx:30880
Account: admin
Password: P@88w0rd
NOTES：
1. After you log into the console, please check the
monitoring status of service components in
"Cluster Management". If any service is not
ready, please wait patiently until all components
are up and running.
2. Please change the default password after login.
#####################################################
https://kubesphere.io 2022-08-04 15:53:14
#####################################################
執(zhí)行命令卸載相關(guān)可插拔組件：
###### 卸載 KubeSphere 日志系統(tǒng) $ kubectl delete inputs.logging.kubesphere.io -n kubesphere-logging-system tail ###### 卸載 KubeSphere 事件系統(tǒng) $ helm delete ks-events -n kubesphere-logging-system ###### 卸載 KubeSphere 審計 $ helm uninstall kube-auditing -n kubesphere-logging-system $ kubectl delete crd rules.auditing.kubesphere.io $ kubectl delete crd webhooks.auditing.kubesphere.io ###### 卸載包括 Elasticsearch 的日志系統(tǒng) $ kubectl delete crd fluentbitconfigs.logging.kubesphere.io $ kubectl delete crd fluentbits.logging.kubesphere.io $ kubectl delete crd inputs.logging.kubesphere.io $ kubectl delete crd outputs.logging.kubesphere.io $ kubectl delete crd parsers.logging.kubesphere.io $ kubectl delete deployments.apps -n kubesphere-logging-system fluentbit-operator $ helm uninstall elasticsearch-logging --namespace kubesphere-logging-system $ kubectl delete deployment logsidecar-injector-deploy -n kubesphere-logging-system $ kubectl delete ns kubesphere-logging-system
卸載過程中可能出現(xiàn)如下異常：
crd 資源刪除時出現(xiàn)問題，嘗試使用如下命令
$ kubectl patch crd/crd名稱 -p '{"metadata":{"finalizers":[]}}' --type=merge
創(chuàng)建 namespace
$ kubectl create ns kubesphere-logging-system
自定義 service 負(fù)載均衡 ES 節(jié)點
es-service.yaml
apiVersion: v1
kind: Service
metadata:
labels:
app: es-service
name: es-service
namespace: kubesphere-logging-system
spec:
ports:
- port: 9200
name: es
protocol: TCP
targetPort: 9200
es-endpoints.yaml
ip 地址修改為真實要對接的 ES 集群節(jié)點的 IP 地址。
apiVersion: v1
kind: Endpoints
metadata:
labels:
app: es-service
name: es-service
namespace: kubesphere-logging-system
subsets:
- addresses:
- ip: 172.30.10.***
- ip: 172.30.10.***
- ip: 172.30.10.***
ports:
- port: 9200
name: es
protocol: TCP
執(zhí)行命令創(chuàng)建自定義 SVC：
$ kubectl apply -f es-service.yaml -n kubesphere-logging-system $ kubectl apply -f es-endpoints.yaml -n kubesphere-logging-system #查看svc $ kubectl get svc -n kubesphere-logging-system NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE es-service ClusterIP 109.233.8.178 <none> 9200/TCP 10d #查看endpoints $ kubectl get ep -n kubesphere-logging-system NAME ENDPOINTS AGE es-service 172.30.10.***:9200,172.30.10.***:9200,172.30.10.***:9200 10d
“平臺管理-集群管理-應(yīng)用負(fù)載-服務(wù)”搜索 es-service。
es-service 服務(wù)地址：es-service.kubesphere-logging-system.svc。
開啟日志并對接外部 ES
在平臺管理 - 集群管理 - CRD 中搜索 clusterconfiguration，在自定義資源中，點擊 ks-installer，修改配置：
開啟容器日志、審計日志分別修改
logging.enabled: true
auditing.enabled: true
修改外部 ES 配置
es.basicAuth.enabled: true
es.basicAuth.password
es.basicAuth.username
es.externalElasticsearchUrl
es.externalElasticsearchPort
修改日志保存日期（默認(rèn) 7 天）
logMaxAge
修改日志索引前綴（默認(rèn) logstash）
elkPrefix（開發(fā)：dev，測試：sit，生產(chǎn)：prod）
apiVersion: installer.kubesphere.io/v1alpha1
kind: ClusterConfiguration
metadata:
labels:
version: v3.2.1
name: ks-installer
namespace: kubesphere-system
spec:
alerting:
enabled: false
auditing:
enabled: true # false改為true
...
es:
basicAuth:
enabled: true # false改為true
password: '****' # 密碼
username: '****' # 用戶名
data:
volumeSize: 20Gi
elkPrefix: sit #開發(fā)：dev 測試：sit 生產(chǎn)：prod
externalElasticsearchPort: '9200' # 端口
externalElasticsearchUrl: es-service.kubesphere-logging-system.svc # 修改es-service
logMaxAge: 7 #默認(rèn)7天即可
master:
volumeSize: 4Gi
...
執(zhí)行命令檢查安裝過程
$ kubectl logs -n kubesphere-system $(kubectl get pod -n kubesphere-system -l app=ks-install -o jsonpath='{.items[0].metadata.name}') -f
#日志出現(xiàn)以下內(nèi)容說明重啟成功
Collecting installation results ...
#####################################################
### Welcome to KubeSphere! ###
#####################################################
Console: http://172.30.9.xxx:30880
Account: admin
Password: P@88w0rd
NOTES：
1. After you log into the console, please check the
monitoring status of service components in
"Cluster Management". If any service is not
ready, please wait patiently until all components
are up and running.
2. Please change the default password after login.
#####################################################
https://kubesphere.io 2022-08-04 15:53:14
#####################################################
執(zhí)行命令，查看對應(yīng)的 ConfigMap 配置：
$ kubectl get configmap kubesphere-config -n kubesphere-system -o yaml
#重點如下，看es的配置是否已經(jīng)生效,host是否為自定義SVC，以及用戶名密碼索引是否正確
logging:
host: http://es-service.kubesphere-logging-system.svc:9200
basicAuth: True
username: "****" #此處為你填寫的正確用戶名
password: "****" #此處為你填寫的正確密碼
indexPrefix: ks-sit-log #不同環(huán)境對應(yīng)dev\sit\prod
auditing:
enable: true
webhookURL: https://kube-auditing-webhook-svc.kubesphere-logging-system.svc:6443/audit/webhook/event
host: http://es-service.kubesphere-logging-system.svc:9200
basicAuth: True
username: "****" #此處為你填寫的正確用戶名
password: "****" #此處為你填寫的正確密碼
indexPrefix: ks-sit-auditing #不同環(huán)境對應(yīng)dev\sit\prod
執(zhí)行命令編輯對應(yīng) output(如果已自動修改則不需要手動修改)：
- 修改 host
- 修改索引 （開發(fā)、測試、生產(chǎn)前綴分別對應(yīng) ks-dev-、ks-sit-、ks-prod-）
#修改es的output
$ kubectl edit output es -n kubesphere-logging-system
#修改host 和 logstashPrefix
# host: es-service.kubesphere-logging-system.svc
# logstashPrefix: ks-對應(yīng)環(huán)境-log
#如下：
spec:
es:
generateID: true
host: es-service.kubesphere-logging-system.svc # host地址
httpPassword:
valueFrom:
secretKeyRef:
key: password
name: elasticsearch-credentials
httpUser:
valueFrom:
secretKeyRef:
key: username
name: elasticsearch-credentials
logstashFormat: true
logstashPrefix: ks-sit-log # 修改此處為對應(yīng)環(huán)境的日志索引
port: 9200
timeKey: '@timestamp'
matchRegex: '(?:kube|service)\.(.*)'
#修改es-auditing的output
$ kubectl edit output es-auditing -n kubesphere-logging-system
#修改host 和 logstashPrefix
# host: es-service.kubesphere-logging-system.svc
# logstashPrefix: ks-對應(yīng)環(huán)境-auditing
#如下
spec:
es:
generateID: true
host: es-service.kubesphere-logging-system.svc # host地址
httpPassword:
valueFrom:
secretKeyRef:
key: password
name: elasticsearch-credentials
httpUser:
valueFrom:
secretKeyRef:
key: username
name: elasticsearch-credentials
logstashFormat: true
logstashPrefix: ks-sit-auditing # 修改此處為對應(yīng)環(huán)境的日志索引
port: 9200
match: kube_auditing
重啟 ks-apiserver
$ kubectl rollout restart deployment ks-apiserver -n kubesphere-system
驗證
$ kubectl get po -n kubesphere-logging-system NAME READY STATUS RESTARTS AGE elasticsearch-logging-curator-elasticsearch-curator-276864h2xt2 0/1 Error 0 38h elasticsearch-logging-curator-elasticsearch-curator-276864wc6bs 0/1 Completed 0 38h elasticsearch-logging-curator-elasticsearch-curator-276879865wl 0/1 Completed 0 14h elasticsearch-logging-curator-elasticsearch-curator-276879l7xpf 0/1 Error 0 14h fluent-bit-4vzq5 1/1 Running 0 47h fluent-bit-6ckvm 1/1 Running 0 25h fluent-bit-6jt8d 1/1 Running 0 47h fluent-bit-88crg 1/1 Running 0 47h fluent-bit-9ps6z 1/1 Running 0 47h fluent-bit-djhtx 1/1 Running 0 47h fluent-bit-dmpfv 1/1 Running 0 47h fluent-bit-dtr7z 1/1 Running 0 47h fluent-bit-flxbt 1/1 Running 0 47h fluent-bit-fnxdk 1/1 Running 0 47h fluent-bit-gqbrl 1/1 Running 0 47h fluent-bit-kbzsj 1/1 Running 0 47h fluent-bit-lbnnh 1/1 Running 0 47h fluent-bit-nq4g8 1/1 Running 0 47h fluent-bit-q5shz 1/1 Running 0 47h fluent-bit-qrb7v 1/1 Running 0 47h fluent-bit-r26fk 1/1 Running 0 47h fluent-bit-rfrpd 1/1 Running 0 47h fluent-bit-s8869 1/1 Running 0 47h fluent-bit-sp5k4 1/1 Running 0 47h fluent-bit-vjvhl 1/1 Running 0 47h fluent-bit-xkksv 1/1 Running 0 47h fluent-bit-xrlz4 1/1 Running 0 47h fluentbit-operator-745bf5559f-vnz8w 1/1 Running 0 47h kube-auditing-operator-84857bf967-ftbjr 1/1 Running 0 47h kube-auditing-webhook-deploy-64cfb8c9f8-hf8g8 1/1 Running 0 47h kube-auditing-webhook-deploy-64cfb8c9f8-zf4rd 1/1 Running 0 47h logsidecar-injector-deploy-5fb6fdc6dd-fj5vm 2/2 Running 0 47h logsidecar-injector-deploy-5fb6fdc6dd-qbhdg 2/2 Running 0 47h
日志接收器：
查詢審計日志：
以上就是KubeSphere接入外部Elasticsearch實戰(zhàn)示例的詳細(xì)內(nèi)容，更多關(guān)于KubeSphere接入Elasticsearch的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章介紹了配置Kubernetes外網(wǎng)訪問集群的方法，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-03-03
kubernetes中的namespace、node、pod介紹
這篇文章介紹了kubernetes中的namespace、node、pod，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-03-03
Docker與K8s關(guān)系介紹不會Docker也可以使用K8s
想學(xué)K8s，必須得先學(xué)會Docker嗎？這是很多網(wǎng)友在開始有想法想要學(xué)?K8s的時候都會冒出來的想法，要回答這個問題，我們需要先搞清楚?Docker?和?K8s?他們的角色是什么，相互之間是什么關(guān)系2022-06-06
Kubernetes Informer數(shù)據(jù)存儲Index與Pod分配流程解析
這篇文章主要為大家介紹了Kubernetes Informer數(shù)據(jù)存儲Index與Pod分配流程解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
Dashboard管理Kubernetes集群與API訪問配置
這篇文章介紹了Dashboard管理Kubernetes集群與API訪問配置的方法，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
使用kubeadm命令行工具創(chuàng)建kubernetes集群
這篇文章介紹了使用kubeadm命令行工具創(chuàng)建kubernetes集群的方法，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-03-03
Kubernetes Visitor設(shè)計模式及發(fā)送pod創(chuàng)建請求解析
這篇文章主要為大家介紹了Kubernetes Visitor設(shè)計模式及發(fā)送pod創(chuàng)建請求解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
這篇文章介紹了Kubernetes控制節(jié)點的部署，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
Kubernetes(K8S)入門基礎(chǔ)內(nèi)容介紹
這篇文章介紹了Kubernetes(K8S)的入門基礎(chǔ)內(nèi)容，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-03-03
Kubernetes kubectl中Pod創(chuàng)建流程源碼解析
這篇文章主要為大家介紹了Kubernetes kubectl中Pod創(chuàng)建流程源碼解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11