aliyun/alibabacloud-maxcompute-tool-migrate
Fork: 11 Star: 23 (更新于 2024-05-18 20:56:20)
license: Apache-2.0
Language: Java .
alibabacloud-maxcompute-tool-migrate
最后发布版本: v3.0.3 ( 2023-11-27 18:49:49)
MaxCompute Migration Assistant
MaxCompute Migration Assistant (MMA) provides a solution to migrate data from different datasources to MaxCompute.
Currently, the following scenario are supported:
.Hive to MaxCompute .MaxCompute to MaxCompute
代码目录
mma-server
mma的主程序
mma-common
mma-server与其他模块共同使用的代码
mma-source
迁移的数据源相关代码
mma-ui
操作界面代码
构建
要求
jdk >= 1.8
方法
编译适用于hive2, hive3的版本
./build 2
编译适用于hive1的版本
./build 1
用于迁移数据的hive udtf代码位于mma-source/hive/hive-udtf,udtf的jar包已经编译好放入mma-server的resource里了, 启动mma-server后,可以在"帮助"页面下载。如果需要单独编译hive udtf, 可以直接运行
mvn package -Dhive=x # x可以为1,2,3中的一个
运行
- cd mma-server/target
- java -jar MMAv3.jar -c /xx/xx/config.ini
- config.ini 内容示例如下
[mysql]
host = 127.0.0.1
port = 3306
db = xxx
username = xxx
password = xxx
[mma]
listening_port: 6060
使用docker运行
- copy mma-server/target/MMAV3.jar docker/
- 修改config.ini里面的password和docker-compose.yml里的"MYSQL_ROOT_PASSWORD", 注意保持两者一致
- cd docker
- docker build -t mma:v3 .
- docker-compose up
旧版本MMA代码
https://github.com/aliyun/alibabacloud-maxcompute-tool-migrate/tree/v0.1.1
使用文档
开发注意事项
- mac本地开发的时候需要将hostname值写入/etc/networks,否则每次启动程序会慢5s左右
- 用intelli的时候,需要选一下maven的profiles, 比如
3. 注意修改一下mma-source/hive/pom.xml里的${hive.version}值,否则用ide启动mma-server时会报错
最近版本更新:(数据更新于 2024-05-07 10:36:11)
2023-11-27 18:49:49 v3.0.3
2023-09-06 20:52:29 v3.0.2
2023-08-28 10:50:47 v3.0.1
2022-11-11 10:29:01 v3.0.0
2022-04-24 10:49:34 v0.1.1
2021-08-25 22:00:27 v0.1.0
2020-11-28 10:55:26 v0.0.3
2020-10-26 18:11:08 v0.0.2
2020-09-09 22:50:13 v0.0.1
aliyun/alibabacloud-maxcompute-tool-migrate同语言 Java最近更新仓库
2024-07-02 20:32:20 jeremylong/DependencyCheck
2024-06-14 06:20:00 Azure/azure-sdk-for-java
2024-06-13 15:24:37 dataease/dataease
2024-06-03 17:47:07 datastrato/gravitino
2024-06-01 23:57:12 PBH-BTN/PeerBanHelper
2024-06-01 16:11:12 tencentmusic/supersonic