VisIonyu 的日常
0%

kafka cmd 常用命令

发表于
本文字数： 1.2k 阅读时长 ≈ 1 分钟

整理了一些，以供自己日常使用：

  1. 前提变量

    1
    2
    export ZOOKEEPERS=zookeeper:2181 #自己根据需要改,新版本基本上用不到这个
    export KAFKAS=kafka:9092 #自己根据需要改

  2. 列出所有Topic:

    1
    kafka-topics.sh  --describe --bootstrap-server $KAFKAS

  3. 创建一个topic

    1
    kafka-topics.sh  --create --topic test --bootstrap-server $KAFKAS --partitions 3 --replication-factor 2

  4. 消费者订阅主题

    1
    kafka-console-consumer.sh --bootstrap-server $KAFKAS --topic test

  5. 生产者向topic发送消息

    1
    kafka-console-producer.sh --broker-list $KAFKAS  --topic test

  6. 修改topic配置

    1
    kafka-configs.sh --zookeeper $ZOOKEEPERS --entity-type topics --entity-name test   --alter --add-config compression.type=producer retention.ms=86400000

  7. 压力测试

    1
    2
    3
    4
    5
    #生产者
    kafka-run-class.sh org.apache.kafka.tools.ProducerPerformance --print-metrics --topic test --num-records 6000000 --throughput 100000 --record-size 100 --producer-props bootstrap.servers=$KAFKAS buffer.memory=67108864 batch.size=32768 linger.ms=20 acks=1

    #消费者
    kafka-consumer-perf-test.sh --broker-list $KAFKAS --messages 1000000 --threads 1 --topic test --print-metrics
  1. 下载kafka安装包
    1
    2
    3
    #image: openjdk:8-slim-buster
    apt-get update && apt-get install -y wget curl net-tools vim procps
    wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.12-2.4.1.tgz  && tar -xzf kafka_2.12-2.4.1.tgz