本文介绍如何在 Ultipa Maker 中管理、新建、配置、和运行项目。
管理项目
项目页面可以添加新项目,查看项目详情,以及进行多项目管理。
在 Project 主页面,用户可查看的项目基本信息包括:
基本信息 |
描述 |
---|---|
项目名称 | 项目的名称,由用户添加和修改。 |
ETL 数量 | 单个项目中包含的ETL总量。 |
创建时间 | 项目创建时间,新建项目时由系统记录并生成。 |
开始时间 | 上一次项目开始运行的时间。 |
状态 | 项目状态:“开始”代表项目已开始按照指定时间运行,“停止”代表项目已停止运行。 |
描述 | 项目描述 |
点击 “删除” 并在弹出窗口中确认可删除指定项目。

新建项目
进入项目管理页,点击顶部的“+ 新建”按钮,在弹窗中添加项目名称和项目描述,然后保存生效:

删除项目
配置项目
用户可点击操作栏中的 “查看详情” 进入单个项目配置。 ETL(Extract,Transfer,Load),即数据提取、传输、载入,代表每一个数据迁移的进程,是项目数据迁移的最小单位,每个项目必须由一个及以上的 ETL 进程组成。用户需对所有 ETL 进程完成创建、配置、顺序设定后才能开始运行完整的项目。
因此,创建、配置 ETL、设定 ETL 的运行顺序就构成了项目配置和数据迁移的主要内容。
创建 ETL
点击对应项目后的 “查看项目” 进入项目配置,点击 “+新建ETL",在弹窗中添加ETL名称:

配置 ETL 导入策略
进入ETL卡片,点击左上角的“配置”按钮,添加以下配置信息并保存:
参数 | 描述 |
---|---|
每批数量 | 每批最大导入数据量,必须小于或等于 1,000,000。 |
插入方式 | 当前 ETL 中没有数据时,选择 “Normal”(正常)则为导入的正常模式;当前 ETL 中有历史数据时,选择 "Overwrite"(覆盖)是指对除唯一标识符 UUID 和 ID 之外的属性进行更新或清空,且数据中携带的属性将被更新,未携带的属性将根据数据类型赋值为空字符串、null、0 等;选择 "Upsert"(插入更新)是指对历史数据中除唯一标识符 ID 和 UUID 之外的属性进行更新,且仅对数据中携带的属性进行更新,未携带的属性不做任何操作,用户可根据项目需要进行选择。 |
并发数 | 最大可执行线程数,必须小于或等于 100。 |
是否创建不存在的点 | 开启开关代表如遇数据在图中不存在时,系统将自动为其创建点;开关关闭时代表不为其创建点边。 |
错误时停止导入 | 开启开关代表如遇 ETL 故障将自动停止数据导入;开关关闭时代表如遇 ETL 故障仍继续进行数据导入。 |
当开启“错误时停止导入”开关时,如遇 ETL 运行故障,系统会停止导入,并保留已导入数据。用户需选择将“插入方式”设置为 Overwrite 并重新运行运行出错的 ETL,否则可能导致该 ETL 的运行再次失败。
如下图所示:

配置数据提取源
点击当前 ETL 数据提取源卡片上的 “配置” 图标,用户可查看和配置全部已创建的数据提取源。
参数 | 描述 |
---|---|
数据源 | 可从全部已创建的数据源中选择。 |
选择库 | 可从已选数据源中选择可用的库。 |
数据提取 | 可选择输入“点”数据或“边”数据。 |
查询脚本 | 查询脚本来自于不同数据平台的查询语句,因而根据不同提取源语法结构有所不同。Ultipa Maker 将各平台查询语句的语法嵌入到一套查询模板中,用户可根据项目需要填写筛选条件对数据源进行筛选。CSV 或 DAT 格式的文件提取源无需设置查询脚本。 |
Neo4j 的查询脚本举例:
MATCH (n:Person) RETURN n
其含义为找到所有为 Person(人)的点。
Hive 的查询脚本举例:
select * from mini_circle_edge_agree2 limit 10
其含义为返回 10 个 mini_circle_edge_agree2 里的点。
如下图所示:

选择数据载入源
点击当前 ETL 数据载入源卡片上的 “配置” 图标,用户可查看全部已创建的 Ultipa Graph 载入源,点击数据源卡片上的 “选择” 按钮即选定该数据源为载入源。
如下图所示:

设定字段映射
数据源配置完成后,在“字段映射”模块“图属性”下的下拉菜单,可为载入数据选择 Ultipa Graph 中对应 Schema 的属性,为数据入图形成映射关系:

设置 ETL 的运行顺序
ETL 的运行顺序可根据项目需求进行调整,如下图:

项目调度
项目定时器和触发器可以用来设置开始运行项目的周期、频率、时间、以及规则。用户可根据项目运行的不同需要完成部分或全部的调度配置。
项目定时器
项目定时器可以用来指定项目开始运行的时间、频次和周期,如下图:

项目触发器
项目触发器可以用来指定项目开始运行的规则,如下图:

运行项目
项目配置完成后,可点击位于页面左上角的“按设定顺序运行”按钮开始项目:

注意:运行中的项目的配置无法修改,用户需要先停止项目再对配置进行修改。
查看日志
开始项目后,用户可查看每个ETL的运行日志了解项目运行的细节:
