這篇文章將為大家詳細講解有關制作帶有kafka插件和es插件的fluentd鏡像是怎樣的，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

洛陽網站建設公司創新互聯,洛陽網站設計制作，有大型網站制作公司豐富經驗。已為洛陽1000+提供企業網站建設服務。企業網站搭建\成都外貿網站建設要多少錢，請找那個售后服務好的洛陽做網站的公司定做！前言

Fluentd是用于統一日志記錄層的開源數據收集器,是繼Kubernetes、Prometheus、Envoy 、CoreDNS 和containerd后的第6個CNCF畢業項目,常用來對比的是elastic的logstash,相對而言fluentd更加輕量靈活,現在發展非常迅速社區很活躍,在編寫這篇blog的時候github的star是8.8k,fork是1k就可見一斑.

前提

docker

Dockerfile文件編寫

Dockerfile

FROM fluent/fluentd:v1.3.2
ADD fluent.conf /etc/fluent/
RUN echo "source 'https://mirrors.tuna.tsinghua.edu.cn/rubygems/'" > Gemfile && gem install bundler
RUN gem install fluent-plugin-kafka -v 0.12.3 --no-document
RUN gem install fluent-plugin-elasticsearch -v 4.0.3 --no-document
CMD ["fluentd"]

fluent.conf

@type kafka

brokers kafka:9092
format json

topic kafeidou




@type elasticsearch
host elasticsearch
port 9200
index_name fluentd
type_name fluentd

以版本為v1.3.2的fluentd鏡像為基礎鏡像,由于fluentd的處理層擴展是以插件的方式進行擴展,所以在制作這個鏡像時需要安裝對應的kafka插件和elasticsearch插件.
這里kafka的fluentd插件版本為0.12.3,elasticsearch的fluentd插件版本為4.0.3.

Dockerfile和fluent.conf都準備好了,執行制作鏡像命令

docker build -t fluentd-es-kafka:v1.3.2 .

這樣一來包含es插件和kafka插件的fluentd鏡像就制作完成了.

運行這樣一個fluentd只需要一條docker命令就可以運行起來.

docker run -it -d fluentd-es-kafka:v1.3.2

這個容器會在啟動后開始監聽host為kafka的kafka消息且傳輸數據到host為elasticsearch的elasticsearch節點.

如果是es的節點和kafka的節點地址不一樣,則需要掛在volume覆蓋容器內的默認配置文件.

dockerrun-it-v{存放fluent.conf的目錄}:/etc/fluent-dfluentd-es-kafka:v1.3.2

關于制作帶有kafka插件和es插件的fluentd鏡像是怎樣的就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

網站名稱：制作帶有kafka插件和es插件的fluentd鏡像是怎樣的
URL網址：http://www.yuzhuanjia.cn/article/cpsppd.html