MyGit

aliyun/alibabacloud-maxcompute-tool-migrate

Fork: 11 Star: 25 (更新于 2024-11-06 02:05:03)

license: Apache-2.0

Language: Java .

alibabacloud-maxcompute-tool-migrate

最后发布版本: v3.1.1 ( 2024-09-10 10:43:18)

GitHub网址

MaxCompute Migration Assistant

MaxCompute Migration Assistant (MMA) provides a solution to migrate data from different datasources to MaxCompute.

Currently, the following scenario are supported:

.Hive to MaxCompute .MaxCompute to MaxCompute

代码目录

mma-server

mma的主程序

mma-common

mma-server与其他模块共同使用的代码

mma-source

迁移的数据源相关代码

mma-ui

操作界面代码

构建

要求

jdk >= 1.8

方法

编译适用于hive2, hive3的版本

./build 2

编译适用于hive1的版本

./build 1

用于迁移数据的hive udtf代码位于mma-source/hive/hive-udtf,udtf的jar包已经编译好放入mma-server的resource里了, 启动mma-server后,可以在"帮助"页面下载。如果需要单独编译hive udtf, 可以直接运行

mvn package -Dhive=x # x可以为1,2,3中的一个

运行

  1. cd mma-server/target
  2. java -jar MMAv3.jar -c /xx/xx/config.ini
  3. config.ini 内容示例如下
[mysql]
host = 127.0.0.1
port = 3306
db = xxx
username = xxx
password = xxx

[mma]
listening_port: 6060

使用docker运行

  1. copy mma-server/target/MMAV3.jar docker/
  2. 修改config.ini里面的password和docker-compose.yml里的"MYSQL_ROOT_PASSWORD", 注意保持两者一致
  3. cd docker
  4. docker build -t mma:v3 .
  5. docker-compose up

旧版本MMA代码

https://github.com/aliyun/alibabacloud-maxcompute-tool-migrate/tree/v0.1.1

使用文档

使用文档

开发注意事项

  1. mac本地开发的时候需要将hostname值写入/etc/networks,否则每次启动程序会慢5s左右
  2. 用intelli的时候,需要选一下maven的profiles, 比如

img.png 3. 注意修改一下mma-source/hive/pom.xml里的${hive.version}值,否则用ide启动mma-server时会报错

最近版本更新:(数据更新于 2024-09-13 09:00:36)

2024-09-10 10:43:18 v3.1.1

2024-06-28 11:40:11 v3.1.0

2023-11-27 18:49:49 v3.0.3

2023-09-06 20:52:29 v3.0.2

2023-08-28 10:50:47 v3.0.1

2022-11-11 10:29:01 v3.0.0

2022-04-24 10:49:34 v0.1.1

2021-08-25 22:00:27 v0.1.0

2020-11-28 10:55:26 v0.0.3

2020-10-26 18:11:08 v0.0.2

aliyun/alibabacloud-maxcompute-tool-migrate同语言 Java最近更新仓库

2024-11-21 20:32:01 spring-projects/spring-boot

2024-11-21 09:44:43 Card-Forge/forge

2024-11-19 23:42:52 spring-projects/spring-authorization-server

2024-11-18 21:40:12 4379711/lol-helper

2024-11-16 22:50:41 xuxueli/xxl-job

2024-11-16 19:06:35 Stirling-Tools/Stirling-PDF