1. 安装datax3
首先需要在本地安装datax3,可以从官网下载datax3的压缩包,解压后即可使用。
ysql和hdfs的连接信息fysqlysql和hdfs的连接信息。例如:ysql:
“job”: {tent”: [
{
“reader”: {ameysqlreader”,eter”: {n”: [
“id”,ame”,
“age”
],nection”: [
{ysql://localhost:3306/test”,
“table”: [
“user”
],ame”: “root”,
“password”: “root”
}
]
}
},
“writer”: {amewriter”,eter”: {ysql”,e”: “user.csv”
}
}
}
],g”: {
“speed”: {nel”: 3
}
}
}
“job”: {tent”: [
{
“reader”: {amereader”,eter”: {ysql/user.csv”
}
},
“writer”: {ame”: “hdfswriter”,eter”: {
“path”: “/user/hadoop/datax/hdfs”,e”: “user”
}
}
}
],g”: {
“speed”: {nel”: 3
}
}
}
3. 运行datax3ysql配置文件,即可启动数据同步任务。例如:ysql
4. 查看数据传输结果
数据传输完成后,可以在hdfs上查看数据是否成功传输。例如:
hdfs dfs -ls /user/hadoop/datax/hdfs
ysql到hdfs的数据传输了。datax3还支持多种数据源和目标,读者可以根据实际需求选择适合自己的配置文件。