一文詳解kafka開啟kerberos認證的完整步驟
一、kerberos安裝部署
kerberos的基本原理不做過多介紹了，可自行查閱；本文主要介紹kerberos的安裝及使用;使用到的軟件版本：系統(tǒng)：Red Hat Enterprise Linux release 8.6 (Ootpa) 、krb5-server：1.18.2
#使用到的軟件版本 [root@kafka01 data]# cat /etc/redhat-release Red Hat Enterprise Linux release 8.6 (Ootpa) #通過yum安裝 [root@kafka01 ~]# yum install krb5-server #查看本版號 [root@kafka01 ~]# rpm -qi krb5-server Name : krb5-server Version : 1.18.2 Release : 30.el8_10 Architecture: x86_64 Install Date: Fri 07 Mar 2025 11:11:35 AM CST Group : System Environment/Daemons Size : 1481553 License : MIT Signature : RSA/SHA256, Tue 22 Oct 2024 11:00:23 PM CST, Key ID 199e2f91fd431d51
二、準備機器
| 序號 | IP | 主機 | 部署服務 |
|---|---|---|---|
| 1 | 192.168.10.100 | kafka01 | Kerberos Server、Kerberos Client |
| 2 | 192.168.10.101 | kafka02 | Kerberos Client |
| 3 | 192.168.10.102 | kafka03 | Kerberos Client |
綁定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
Kerberos Client 根據需要進行安裝，安裝后可以使用 kadmin 命令；對應在 Kerberos Server 上使用 kadmin.local 命令。
三、Kerberos Server 安裝
[root@kafka01 ~]# yum install krb5-server
1、配置krb5.conf
#編輯配置文件
[root@kafka01 ~]# vim /etc/krb5.conf
# To opt out of the system crypto-policies configuration of krb5, remove the
# symlink at /etc/krb5.conf.d/crypto-policies which will not be recreated.
includedir /etc/krb5.conf.d/
[logging]
default = FILE:/var/log/krb5libs.log
kdc = FILE:/var/log/krb5kdc.log
admin_server = FILE:/var/log/kadmind.log
[libdefaults]
dns_lookup_realm = false
ticket_lifetime = 24h
renew_lifetime = 7d
forwardable = true
rdns = false
pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt
# spake_preauth_groups = edwards25519
default_realm = NSSPKAFKA.COM #域
default_ccache_name = KEYRING:persistent:%{uid}
[realms]
NSSPKAFKA.COM = {
kdc = kafka01 #hostname
admin_server = kafka01 #hostname
}
[domain_realm]
#.kafka01 = NSSPKAFKA.COM
#kafka01 = NSSPKAFKA.COM
以上配置相關參數
[logging]：日志的位置
[libdefaults]：每種連接的默認配置
dns_lookup_realm：是否通過 dns 查找需使用的 releam
ticket_lifetime：憑證的有效時限，一般為 24 小時
renew_lifetime：憑證最長可以被延期的時限，一般為一周。當憑證過期之后，對安全認證的服務后續(xù)訪問就會失敗
forwardable：ticket 是否可以被轉發(fā)（如果用戶已經有了一個TGT，當他登入到另一個遠程系統(tǒng)，KDC會為他重新創(chuàng)建一個TGT，而不需要讓用戶重新進行身份認證）
rdns：如果為 true，則除根據 hostname 正向查找外，同時反向查找對應的 principal。如果 dns_canonicalize_hostname 設置為 false，則此標志不起作用。默認值為 true。
pkinit_anchors：受信任錨（根）證書的位置；如果用戶在命令行上指定X509_anchors，則不使用該配置。
default_realm：默認的 realm，必須跟要配置的 realm 名稱一致
default_ccache_name：指定默認憑據緩存的名稱。默認值為 DEFCCNAME
[realms]：列舉使用的 realm
kdc：kdc 運行的機器
admin_server：kdc 數據庫管理服務運行的機器
[domain_realm]：配置 domain name 或 hostname 對應的 releam
詳細說明可參考官網文檔：http://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/krb5_conf.html。
2、配置kdc.conf (/var/kerberos/krb5kdc/kdc.conf)
[root@kafka01 data]# vim /var/kerberos/krb5kdc/kdc.conf
[kdcdefaults]
kdc_ports = 88
kdc_tcp_ports = 88
spake_preauth_kdc_challenge = edwards25519
[realms]
NSSPKAFKA.COM = {
#master_key_type = aes256-cts
acl_file = /var/kerberos/krb5kdc/kadm5.acl
dict_file = /usr/share/dict/words
admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab
supported_enctypes = aes256-cts:normal aes128-cts:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal
}
以上配置相關參數詳解
相關參數說明：
[kdcdefaults]：KDC 默認配置
kdc_ports：UDP 端口號
kdc_tcp_ports：TCP 端口號
[realms]：realm 數據庫配置
master_key_type：主密鑰的密鑰類型；默認值為 aes256-cts-hmac-sha1-96。
acl_file：用于指定哪些用戶可以訪問 kdc 數據庫的控制文件；如果不需要現在用戶訪問，該值可以設為空
dict_file：字典文件位置，該文件中的單詞不能被用于密碼；如果文件為空，或者沒有為用戶分配策略，則不會執(zhí)行密碼字典檢查。
admin_keytab：KDC 進行校驗的 keytab。
supported_enctypes：支持的加密方式，默認為 aes256-cts-hmac-sha1-96:normal aes128-cts-hmac-sha1-96:normal。
詳細說明可參考官網文檔：https://web.mit.edu/kerberos/krb5-latest/doc/admin/conf_files/kdc_conf.html。
3、創(chuàng)建數據庫
[root@kafka01 ~]# kdb5_util create -s -r DATACENTER.COM
四、啟動服務
1、啟動服務
#開啟自啟動 [root@kafka01 ~]# systemctl enable krb5kdc.service Created symlink /etc/systemd/system/multi-user.target.wants/krb5kdc.service → /usr/lib/systemd/system/krb5kdc.service. #開啟Kerberos服務 [root@kafka01 ~]# systemctl start krb5kdc.service #開啟kadmin服務 [root@kafka01 ~]# systemctl enable kadmin.service Created symlink /etc/systemd/system/multi-user.target.wants/kadmin.service → /usr/lib/systemd/system/kadmin.service. [root@kafka01 ~]# systemctl start kadmin.service
2、創(chuàng)建賬號
Kerberos 服務機器上可以使用 kadmin.local 來執(zhí)行各種管理的操作。進入 kadmin.local：
常用操作：
| 操作 | 描述 | 例子 |
|---|---|---|
| add_principal, addprinc, ank | 增加 principal | add_principal -rnadkey test@ABC.COM |
| delete_principal, delprinc | 刪除 principal | delete_principal test@ABC.COM |
| modify_principal, modprinc | 修改 principal | modify_principal test@ABC.COM |
| rename_principal, renprinc | 重命名 principal | rename_principal test@ABC.COM test2@ABC.COM |
| get_principal, getprinc | 獲取 principal | get_principal test@ABC.COM |
| list_principals, listprincs, get_principals, getprincs | 顯示所有 principal | listprincs |
| ktadd, xst | 導出條目到 keytab | xst -k /root/test.keytab test@ABC.COM |
#執(zhí)行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #導出賬號密鑰 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
五、Kerberos Client 安裝
在其他集群機器上安裝
[root@kafka01 ~]#yum install krb5-workstation
1、配置krb5.conf
從 192.168.10.100 上拷貝 /etc/krb5.conf 并覆蓋本地的 /etc/krb5.conf。
#客戶端可以是用kadmin命令 [root@kafka01 ~]# kadmin kinit(在客戶端認證用戶) [root@kafka02 ~]# kinit admin/admin@DATACENTER.COM #輸入密碼認證完成 #查看當前的認證用戶 [root@kafka01 ~]# klist #kdestroy(刪除當前的認證緩存) [root@kafka01 ~]# kdestroy
六、kafka集群開啟kerberos認證
1、機器準備
| 序號 | IP | 主機 | 部署服務 |
|---|---|---|---|
| 1 | 192.168.10.100 | kafka01 | zookeeper、kafka |
| 2 | 192.168.10.101 | kafka02 | zookeeper、kafka |
| 3 | 192.168.10.102 | kafka03 | zookeeper、kafka |
綁定host文件
[root@kafka01 ~]# cat /etc/hosts 192.168.10.100 kafka01 192.168.10.101 kafka02 192.168.10.102 kafka03
2、創(chuàng)建keytab文件
在安裝 Kerberos 的機器上進入 kadmin（Kerberos 服務端上使用 kadmin.local，安裝了 Kerberos Client 的機器上可以使用 kadmin），然后執(zhí)行如下命令分別創(chuàng)建服務端和客戶端的 keytab：
#執(zhí)行命令 [root@kafka01 ~]# kadmin.local kadmin.local: add_principal admin/admin@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: add_principal kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: add_principal kafka-client@NSSPKAFKA.COM #導出賬號密鑰 kadmin.local: xst -norandkey -k /root/data/kafka-server1.keytab kafka-server/kafka01@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server2.keytab kafka-server/kafka02@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-server3.keytab kafka-server/kafka03@NSSPKAFKA.COM kadmin.local: xst -norandkey -k /root/data/kafka-client.keytab kafka-client@NSSPKAFKA.COM
3、Kerberos相關配置
拷貝 krb5.conf 及 keytab 文件到所有安裝 Kafka 的機器，這里把文件都放到 Kafka 的 config/kerveros 目錄下(kerberos 目錄需新建)。
[root@kafka01 kerberos]# pwd /opt/kafka_2.12-3.9.0/config/kerberos [root@kafka01 kerberos]# ll total 24 -rw-r--r-- 1 root root 95 Mar 10 15:53 client.properties -rw-r--r-- 1 root root 246 Mar 10 16:11 kafka-client-jaas.conf -rw------- 1 root root 379 Mar 10 16:03 kafka-client.keytab -rw-r--r-- 1 root root 256 Mar 10 16:10 kafka-server-jaas.conf -rw------- 1 root root 424 Mar 10 16:01 kafka-server.keytab -rw-r--r-- 1 root root 786 Mar 10 16:10 krb5.conf
4、Kafka服務端配置（server.properties）
#執(zhí)行命令 [root@kafka01 config]# vim server.properties #配置文件開啟認證 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=GSSAPI sasl.enabled.mechanisms=GSSAPI sasl.kerberos.service.name=kafka-server
5、新建 kafka-server-jaas.conf 文件
該文件也放到 Kafka 的 config/kerveros 目錄下
[root@kafka01 kerberos]# cat kafka-server-jaas.conf
KafkaServer {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server.keytab" #這是導出的賬號keytab文件 不同的賬號不同的文件
storeKey=true
useTicketCache=false
principal="kafka-server/kafka01@DATACENTER.COM"; #不同的機器 不同的賬號，
};
6、修改 bin/kafka-server-start.sh 腳本
倒數第二行增加如下配置：
#進入啟動腳本 [root@kafka01 bin]# vim kafka-server-start.sh #-Dzookeeper.sasl.client=false zk沒有開啟認證就設置false export KAFKA_OPTS="-Dzookeeper.sasl.client=false -Dzookeeper.sasl.client.username=zk-server -Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-server-jaas.conf"
客戶端配置
7、新建 kafka-client-jaas.conf 文件
該文件也放到 Kafka 的 config/kerveros 目錄下。
[root@kafka01 kerberos]# vim kafka-client-jaas.conf
KafkaClient {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client.keytab" #客戶端密鑰
storeKey=true
useTicketCache=true
principal="kafka-client@DATACENTER.COM"; #客戶端賬號 這里的';' 不能省略
};
該配置主要為了使用 bin/kafka-topics.sh、bin/kafka-console-consumer.sh、kafka-console-producer.sh 等命令
#三個文件倒數第二行 新增以下內容 export KAFKA_OPTS="-Djava.security.krb5.conf=/opt/kafka_2.12-3.9.0/config/kerberos/krb5.conf -Djava.security.auth.login.config=/opt/kafka_2.12-3.9.0/config/kerberos/kafka-client-jaas.conf"
七、啟動測試
#查看topic [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --list --bootstrap-server kafka:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #創(chuàng)建topic & 測試鏈接 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-topics.sh --create --topic test --partitions 1 --replication-factor 1 --bootstrap-server localhost:9092 --command-config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #生產者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-producer.sh --topic test --bootstrap-server nsspmsg.com:9092 --producer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties #消費者 [root@kafka01 ~]# sh /opt/kafka_2.12-3.9.0/bin/kafka-console-consumer.sh --topic test --from-beginning --bootstrap-server nsspmsg.com:9092 --consumer.config /opt/kafka_2.12-3.9.0/config/kerberos/client.properties
以上就是一文詳解kafka開啟kerberos認證的完整步驟的詳細內容，更多關于kafka開啟kerberos認證的資料請關注腳本之家其它相關文章！
相關文章
這篇文章主要介紹了Dubbo?2.7X?安裝部署詳細流程分析,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-02-02
chatgpt國內鏡像?pycharm?idea插件使用詳解
這篇文章主要介紹了chatgpt國內鏡像?pycharm?idea插件使用詳解,本文通過圖文實例代碼相結合給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-02-02
flask+layui+echarts實現前端動態(tài)圖展示數據效果
這篇文章主要介紹了flask+layui+echarts實現前端動態(tài)圖展示數據效果，本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2019-09-09
gliffy-confluence-plugin-9.1.2插件教程詳解
這篇文章主要介紹了gliffy-confluence-plugin-9.1.2破解教程詳解,本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-02-02
這篇文章主要為大家介紹了論文解讀分散數據的深層網絡通信有效學習，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要為大家介紹了Terraform?+?Gitlab?CI簡單集成方案，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-07-07
MobaXterm詳細使用圖文教程(MobaXterm連接Linux服務器)
這篇文章主要介紹了MobaXterm詳細使用教程,介紹一下如何設置并用MobaXterm來連接Linux服務器，本文介紹了三種連接方式：SSH，FTP，serial，以及幾個有用的設置和命令，需要的朋友可以參考下2023-05-05
Caffe圖像數據轉換成可運行l(wèi)eveldb?lmdb文件
這篇文章主要為大家介紹了Caffe圖像數據轉換成可運行l(wèi)eveldb?lmdb文件教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
關于解決?“Error:?listen?EACCES:?permission?denied?0.0.0.0:
這篇文章主要介紹了在開發(fā)過程中常見的錯誤Error:listenEACCES:permissiondenied0.0.0.0:80,并提供了兩種解決方法,大家可以根據需求選擇對應的方法,需要的朋友可以參考下2024-12-12
本文主要介紹了VSCode SSH遠程連接與刪除的實現步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-07-07