Apache Seatunnel-Transform Plugin

作者: Apache Seatunnel
Apache Seatunnel

Transform Common Options

name type required default value
[source_table_name] source_table_name-string
[result_table_name] result_table_name-string
source_table_name [string]

不指定 source_table_name 时，当前插件处理的就是配置文件中上一个插件输出的数据集(dataset)；

指定 source_table_name 的时候，当前插件处理的就是此参数对应的数据集。

result_table_name [string]

不指定 result_table_name时 ，此插件处理后的数据，不会被注册为一个可供其他插件直接访问的数据集(dataset)，或者被称为临时表(table);

指定 result_table_name 时，此插件处理后的数据，会被注册为一个可供其他插件直接访问的数据集(dataset)，或者被称为临时表(table)。此处注册的数据集(dataset)，其他插件可通过指定 source_table_name 来直接访问。

Examples

split {
    source_table_name = "view_table_1"
    source_field = "message"
    delimiter = "&"
    fields = ["field1", "field2"]
    result_table_name = "view_table_2"
}

Split 插件将会处理临时表 view_table_1 中的数据，并将处理结果注册为名为 view_table_2 的临时表， 这张临时表可以被后续任意 Filter 或 Output 插件通过指定 source_table_name 使用。

split {
    source_field = "message"
    delimiter = "&"
    fields = ["field1", "field2"]
}

若不配置 source_table_name, 将配置文件中最后一个 Transform 插件的处理结果输出

文章列表

更多推荐

更多
  • Pulsar消息队列-一套高可用实时消息系统实现 实时消息【即时通信】系统，有群聊和单聊两种方式，其形态异于消息队列：1 大量的 group 信息变动，群聊形式的即时通信系统在正常服务形态下，瞬时可能有大量用户登入登出。2 ...
    AI算法

    Apache Pulsar Pulsar Pulsar消息队列

  • Pulsar消息队列-Pulsar对比Kafka笔记 很多人查看 Pulsar 之前可能对 Kafka 很熟悉，参照上图可见二者内部结构的区别，Pulsar 和 Kafka 都是以 Topic 描述一个基本的数据集合，Topic 数据又分为若干 Partition，即对数据进行逻辑上的 ...
    AI算法

    Apache Pulsar Pulsar Pulsar消息队列

  • Pulsar消息队列-对 2017 年一套 IM 系统的反思 信系统的开发，前前后后参与或者主导了六七个 IM 系统的研发。上一次开发的 IM 系统的时间点还是 2018 年，关于该系统的详细描述见 [一套高可用实时消息系统实现][1] ...
    AI算法

    Apache Pulsar Pulsar Pulsar消息队列

  • Apache APISIX文档-快速入门指南-如何构建 Apache APISIX 如何构建 Apache APISIX，步骤1：安装 Apache APISIX，步骤2：安装 etcd，步骤3：管理 Apache APISIX 服务，步骤4：运行测试案例，步骤5：修改 Admin API key，步骤6：为 Apac
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-快速入门指南-快速入门指南 快速入门指南，概述，前提条件，第一步：安装 Apache APISIX，第二步：创建路由，第三步：验证，进阶操作，工作原理，创建上游服务Upstream，绑定路由与上游服务，添加身份验证，为路由添加前缀，APISIX Dashboard
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-架构设计-APISIX APISIX，软件架构，插件加载流程，插件内部结构，配置 APISIX，插件加载流程，比如指定 APISIX 默认监听端口为 8000，并且设置 etcd 地址为 http://foo:2379， 其他配置保持默认。在 ...
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-架构设计-Service Service 是某类 API 的抽象（也可以理解为一组 Route 的抽象）。它通常与上游服务抽象是一一对应的，Route 与 Service 之间，通常是 N:1 的关系，参看下图。不同 Route 规则同时绑定到一个 Service ...
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-架构设计-Plugin Config 如果你想要复用一组通用的插件配置，你可以把它们提取成一个 Plugin config，并绑定到对应的路由上。举个例子，你可以这么做：创建 Plugin config，如果这个路由已经配置了 plugins，那么 Plugin config ...
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-架构设计-Debug Mode 注意：在 APISIX 2.10 之前，开启基本调试模式曾经是设置 conf/config.yaml 中的 apisix.enable_debug 为 true。设置 conf/debug.yaml 中的选项，开启高级调试模式。由于 ...
    Apache APISIX

    Apache ApiSix ApiSix性能

  • Apache APISIX文档-架构设计-Consumer 如上图所示，作为 API 网关，需要知道 API Consumer（消费方）具体是谁，这样就可以对不同 API Consumer 配置不同规则。授权认证：比如有 [key-auth] 等。获取 consumer_...
    Apache APISIX

    Apache ApiSix ApiSix性能

    • Apache Seatunnel

    42
    文章数
    1066
    获赞数
    1024
    粉丝数
    Apache Seatunnel

    近期文章

    更多
    文章目录

      热门标签

      更多

      推荐作者

      更多