datax_v202205
版本发布时间: 2022-06-11 12:21:24
alibaba/DataX最新发布版本:datax_v202309(2023-09-13 11:42:31)
涉及通道能力更新(MaxCompute、Hologres、OSS、Tdengine等)、安全漏洞更新、通用打包更新等,具体如下:
1. 通道能力更新 @jtchen-study @TrafalgarLuo @ttqs5 @zyyang-taosdata
- MaxCompute Reader
- 支持MaxCompute 2.0 相关的数据同步,2.0相关类型参见 https://help.aliyun.com/document_detail/159541.html
- 支持STS Token认证模式,参见 https://help.aliyun.com/document_detail/72777.html
- 支持分区表达式配置语法以读取多个分区数据,比如 /query/ pt >1
- 如果是分区表,在分区不存在时可以支持任务不报错,即 successOnNoPartition 参数
- MaxCompute Writer
- 支持MaxCompute 2.0 相关的数据同步,2.0相关类型参见 https://help.aliyun.com/document_detail/159541.html
- 支持STS Token认证模式,参见 https://help.aliyun.com/document_detail/72777.html
- 支持前置执行sql,即preSql参数,可以在同步前执行MaxCompute SQL
- 支持后置执行sql,即postSql参数,可以在同步后执行MaxCompute SQL
- 解决一些特殊时间同步的问题,支持纳秒精度
- 支持动态分区写,即根据某一列数据动态将数据写到MaxCompute的不同分区中
- Hologres Writer
- 新插件,可以向 Hologres中写出数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/hologresjdbcwriter/doc/hologresjdbcwriter.md
- 感谢 @ttqs5 的贡献支持
- Tdengine Reader
- 新插件,可以读取 Tdengine 中的数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/tdenginereader/doc/tdenginereader-CN.md
- 感谢 @zyyang-taosdata 的贡献支持
- Tdengine Write
- 新插件,可以向 Tdengine 中写出数据,参考插件文档
- https://github.com/alibaba/DataX/blob/master/tdenginewriter/doc/tdenginewriter-CN.md
- 感谢 @zyyang-taosdata 的贡献支持
- OSS Reader
- 支持Parquet、Orc格式的文件读取
- OSS Writer
- 支持Parquet、Orc格式的文件写出
- 支持多并发写一个OSS文件,writeSingleObject参数
2. 通用能力更新 @TrafalgarLuo
- 解决打包中遇到的一些依赖无法获取的问题,比如tsdb-client
- 安全漏洞更新
- log4j 漏洞更新,将相关依赖升级到 2.17.1 版本
- fastjson 漏洞更新,升级到 1.2.49 版本
- postgresql 驱动漏洞更新,升级到 postgresql 42.3.3 版本