詳解使用docker搭建kafka環(huán)境
Requirements
最近學(xué)習(xí)了下kafka，為方便搭建環(huán)境，使用docker進(jìn)行部署。
需要首先安裝docker的環(huán)境。要求操作系統(tǒng)是linux的64位系統(tǒng)。
docker的安裝(適于rpm/deb安裝):
curl -fsSL https://get.docker.com/ | sh
docker-compose的安裝:
curl -L https://github.com/docker/compose/releases/download/1.7.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose
Kafka Image
Dockerfile
Dockerfile是用于描述鏡像的制作過程。根據(jù)kafka的教程，編寫對應(yīng)的Dockerfile。
基礎(chǔ)鏡像使用了centos6的版本，當(dāng)然根據(jù)需要也可以使用其他的版本。
FROM index.alauda.cn/tutum/centos:centos6 RUN yum install -y wget RUN wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u91-b14/jdk-8u91-linux-x64.rpm RUN rpm -ivh jdk-8u91-linux-x64.rpm RUN mkdir -p /kafka && cd /kafka && wget http://mirrors.cnnic.cn/apache/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz && tar -xzf kafka_2.11-0.9.0.0.tgz && cd kafka_2.11-0.9.0.0 WORKDIR /kafka/kafka_2.11-0.9.0.0
有了這樣的一個Dockerfile，可以在本地，也可以使用公有云進(jìn)行鏡像制作。在本地制作的話，可以使用該命令:
docker build -t index.alauda.cn/xuxinkun/kafka .
我使用了靈雀云的鏡像服務(wù)進(jìn)行build。
Docker-Compose
有了鏡像之后，現(xiàn)在需要對服務(wù)進(jìn)行啟動。這里使用了docker的編排服務(wù)docker-compose，進(jìn)行編排。
kafka主要包括兩個服務(wù)，zookeeper和kafka。所以需要分別啟動兩個服務(wù)。這里將兩個服務(wù)直接使用宿主機(jī)的網(wǎng)絡(luò)。編寫docker-compose.yaml如下:
zk: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/zookeeper-server-start.sh config/zookeeper.properties kafka: image: index.alauda.cn/xuxinkun/kafka net: host stdin_open: true tty: true command: bin/kafka-server-start.sh config/server.properties
啟動服務(wù)
現(xiàn)在可以一條命令啟動所有的服務(wù):
[root@node1 Dockerfile]# docker-compose up -d Creating dockerfile_kafka_1 Creating dockerfile_zk_1
查看服務(wù)狀態(tài)
對服務(wù)狀態(tài)進(jìn)行查看。
[root@node1 Dockerfile]# docker-compose ps
Name Command State Ports
----------------------------------------------------------------------
dockerfile_kafka_1 bin/kafka-server-start.sh ... Up
dockerfile_zk_1 bin/zookeeper-server-start ... Up
當(dāng)然也可以使用docker ps -a進(jìn)行查看。
停止服務(wù)
[root@node1 Dockerfile]# docker-compose stop zk kafka Stopping dockerfile_kafka_1 ... done Stopping dockerfile_zk_1 ... done
刪除服務(wù)
[root@node1 Dockerfile]# docker-compose rm zk kafka
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
- kafka調(diào)試中遇到Connection to node -1 could not be established. Broker may not be available.
- Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環(huán)境
- Kafka 常用命令行詳細(xì)介紹及整理
- docker部署kafka的方法步驟
- Kafka利用Java實(shí)現(xiàn)數(shù)據(jù)的生產(chǎn)和消費(fèi)實(shí)例教程
- kafka監(jiān)控獲取指定topic的消息總量示例
- Java使用kafka發(fā)送和生產(chǎn)消息的示例
- node連接kafka2.0實(shí)現(xiàn)方法示例
相關(guān)文章
最近遇到的這個場景，需要把之前開發(fā)的一套系統(tǒng)遷移到一個離線的服務(wù)器上，這個服務(wù)器有點(diǎn)麻煩，接入VPN后通過堡壘機(jī)才能訪問，速度也很慢，遇到不少坑，本文記錄一下遷移過程,需要的朋友可以參考下2023-06-06
Docker Machine是什么?這篇文章主要介紹了Docker官方提供的一個工具Docker Machine，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-06-06
解決Docker Commit后鏡像變大問題的方法：方法1直接打包容器并導(dǎo)入為鏡像；方法2將容器根目錄文件壓縮后導(dǎo)入為鏡像,方法1更優(yōu),在其他設(shè)備運(yùn)行時可能出現(xiàn)內(nèi)存不足錯誤2025-03-03
這篇文章主要介紹了Docker教程之使用dockerfile生成鏡像的相關(guān)資料,需要的朋友可以參考下2022-11-11
CentOS7.6系統(tǒng)下Docker安裝部署教程
這篇文章主要為大家介紹了CentOS7.6系統(tǒng)下Docker的安裝部署教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-04-04
這篇文章主要介紹了Docker Machine深入詳解，文章總結(jié)的很詳細(xì)，有感興趣的同學(xué)可以研究下2021-03-03
這篇文章主要介紹了CentOS8下的Docker使用,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Docker容器開jupyter不能訪問到的解決，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
手把手教你實(shí)現(xiàn)Docker 部署 vue 項(xiàng)目
這篇文章主要介紹了手把手教你實(shí)現(xiàn)Docker 部署 vue 項(xiàng)目，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Docker容器的目錄結(jié)構(gòu)通常是在構(gòu)建鏡像時定義的,它基于所使用的基礎(chǔ)鏡像,下面這篇文章主要給大家介紹了關(guān)于docker各目錄含義詳細(xì)解析的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05