Seatunnel是一个非常易用、高性能、支持实时流式和离线批处理的海量数据集成平台。接下来我给大家讲讲如何使用和部署seatunnel。

1.下载seatunnel

wget /dist/incubator/seatunnel//

(资料图片)

2.配置seatunnel插件

在原有的plugin_config中存在着很多插件，但下载速度很慢，所以这边建议挑选自己需要的插件下载

vim config/plugin_config

--connectors-v2-- 

connector-assert 

connector-cdc-mysql 

connector-jdbc 

connector-fake 

connector-console 

--end--

3.安装seatunnel插件

sh bin/

4.编写json文件

根据自己的需要编写，下面有两个例子，分别是mysql to mysql离线批处理，和mysql实时流模式的模版。

to mysql离线批处理

env {

="STREAMING"

="SeaTunnel_Job"

=10000

}

source {

Jdbc {

url="jdbc:mysql:///wtinfo"

driver = ""

connection_check_timeout_sec = 100

user = "root"

password = "12345"

query = "select * from s1"

partition_num = 10

}

}

sink {

Jdbc {

primary_keys = ["id"]

password="12345"

driver=""

user=root

query = "insert into s1 values(?,?,?,?,?,?)"

url="jdbc:mysql:///wtinfo_test?enabledTLSProtocols=&rewriteBatchedStatements=true"

}

}

to mysql 流模式

env {

="STREAMING"

="SeaTunnel_Job"

=10000

}

source {

MySQL-CDC {

base-url="jdbc:mysql:///wtinfo"

username= "root"

password = "12345"

table-names = [""]

server-id = 1

}

}

sink {

Jdbc {

primary_keys = ["name"]

password="12345"

driver=""

user=root

query = "insert into test values(?,?)"

url="jdbc:mysql:///wtinfo_test?enabledTLSProtocols=&rewriteBatchedStatements=true"

}

}

5.执行seatunnel任务

bin/ --config job/ -e local

运行seatunnel，--config后为配置的json文件

其他的插件不在这里一一展示，大家可以根据需要官网信息配置json。

官网：/