Apache Seatunnel-Source plugin : Kafka [Spark]

从Kafka消费数据，支持的Kafka版本 >= 0.10.0.

name	type	required	default value
[topics] topics-string
[consumer.group.id] consumergroupid-string
[consumer.bootstrap.servers] consumerbootstrapservers-string
[consumer.*] consumer-string
[common-options] common-options-string

Kafka topic名称。如果有多个topic，用","分割，例如: “tpc1,tpc2”

Kafka consumer group id，用于区分不同的消费组

Kafka集群地址，多个用","隔开

除了以上必备的kafka consumer客户端必须指定的参数外，用户还可以指定多个consumer客户端非必须参数，覆盖了kafka官方文档指定的所有consumer参数.

指定参数的方式是在原参数名称上加上前缀"consumer."，如指定auto.offset.reset的方式是: consumer.auto.offset.reset = latest。如果不指定这些非必须参数，它们将使用Kafka官方文档给出的默认值。

Source 插件通用参数，详情参照 [Source Plugin]

kafkaStream {
    topics = "seatunnel"
    consumer.bootstrap.servers = "localhost:9092"
    consumer.group.id = "seatunnel_group"
}

文章列表