Apache Seatunnel-Transform plugin : SQL [Spark]

使用SQL处理数据，支持Spark丰富的UDF函数

name	type	required	default value
[sql] sql-string
[common-options] common-options-string

SQL语句，SQL中使用的表名为 Source 或 Transform 插件中配置的 result_table_name

Transform 插件通用参数，详情参照 [Transform Plugin]

sql {
    sql = "select username, address from user_info",
}

使用SQL插件用于字段删减，仅保留 username 和 address 字段，将丢弃其余字段。user_info 为之前插件配置的 result_table_name

sql {
    sql = "select substring(telephone, 0, 10) from user_info",
}

使用SQL插件用于数据处理，使用substring functions对 telephone 字段进行截取操作

sql {
    sql = "select avg(age) from user_info",
    table_name = "user_info"
}

使用SQL插件用于数据聚合，使用avg functions对原始数据集进行聚合操作，取出 age 字段平均值

文章列表