Apache Seatunnel-Source plugin : JDBC [Spark]

作者: Apache Seatunnel

通过JDBC读取外部数据源数据

Options

name type required default value
[driver] driver-string
[jdbc.*] jdbc-string
[password] password-string
[table] table-string
[url] url-string
[user] user-string
[common-options] common-options-string
driver [string]

用来连接远端数据源的JDBC类名

jdbc [string]

除了以上必须指定的参数外,用户还可以指定多个非必须参数,覆盖了Spark JDBC提供的所有参数.

指定参数的方式是在原参数名称上加上前缀"jdbc.",如指定fetchsize的方式是: jdbc.fetchsize = 50000。如果不指定这些非必须参数,它们将使用Spark JDBC给出的默认值。

password [string]

密码

table [string]

表名

url [string]

JDBC连接的URL。参考一个案例: jdbc:postgresql://localhost/test

user [string]

用户名

common options [string]

Source 插件通用参数,详情参照 [Source Plugin]

Example

jdbc {
    driver = "com.mysql.jdbc.Driver"
    url = "jdbc:mysql://localhost:3306/info"
    table = "access"
    result_table_name = "access_log"
    user = "username"
    password = "password"
}

通过JDBC读取MySQL数据

jdbc {
    driver = "com.mysql.jdbc.Driver"
    url = "jdbc:mysql://localhost:3306/info"
    table = "access"
    result_table_name = "access_log"
    user = "username"
    password = "password"
    jdbc.partitionColumn = "item_id"
    jdbc.numPartitions = "10"
    jdbc.lowerBound = 0
    jdbc.upperBound = 100
}

根据指定字段划分分区

文章列表

更多推荐

更多
这里什么都没有

近期文章

更多
文章目录

    推荐作者

    更多