修改密码

请输入密码
请输入密码 请输入8-64长度密码 和 email 地址不相同 至少包括数字、大写字母、小写字母、半角符号中的 3 个
请输入密码
提交

修改昵称

当前昵称:
提交

??certificate-table.title_zh_CN??

??certificate-table.name_zh_CN?? ??certificate-table.issued-at_zh_CN?? ??certificate-table.valid-until_zh_CN?? ??certificate-table.serial_zh_CN?? ??certificate-table.actions_zh_CN??
??certificate-table.serial_zh_CN?? ??certificate-table.valid-until_zh_CN?? ??certificate-table.actions_zh_CN??

??certificate-table.no-data.p1_zh_CN?? ??certificate-table.no-data.p2_zh_CN??

v4.0
搜索
    中文EN
    v4.0

      项目

      本文介绍如何在 Ultipa Maker 中管理、新建、配置、和运行项目。

      管理项目

      项目页面可以添加新项目,查看项目详情,以及进行多项目管理。

      在 Project 主页面,用户可查看的项目基本信息包括:

      基本信息
      描述
      项目名称 项目的名称,由用户添加和修改。
      ETL 数量 单个项目中包含的ETL总量。
      创建时间 项目创建时间,新建项目时由系统记录并生成。
      开始时间 上一次项目开始运行的时间。
      状态 项目状态:“开始”代表项目已开始按照指定时间运行,“停止”代表项目已停止运行。
      描述 项目描述

      点击 “删除” 并在弹出窗口中确认可删除指定项目。

      Diagram: 查看和管理项目

      新建项目

      进入项目管理页,点击顶部的“+ 新建”按钮,在弹窗中添加项目名称和项目描述,然后保存生效:

      Diagram: 添加新项目

      删除项目

      配置项目

      用户可点击操作栏中的 “查看详情” 进入单个项目配置。 ETL(Extract,Transfer,Load),即数据提取、传输、载入,代表每一个数据迁移的进程,是项目数据迁移的最小单位,每个项目必须由一个及以上的 ETL 进程组成。用户需对所有 ETL 进程完成创建、配置、顺序设定后才能开始运行完整的项目。

      因此,创建、配置 ETL、设定 ETL 的运行顺序就构成了项目配置和数据迁移的主要内容。

      创建 ETL

      点击对应项目后的 “查看项目” 进入项目配置,点击 “+新建ETL",在弹窗中添加ETL名称:

      Diagram: 创建 ETL

      配置 ETL 导入策略

      进入ETL卡片,点击左上角的“配置”按钮,添加以下配置信息并保存:

      参数
      描述
      每批数量 每批最大导入数据量,必须小于或等于 1,000,000。
      插入方式 当前 ETL 中没有数据时,选择 “Normal”(正常)则为导入的正常模式;当前 ETL 中有历史数据时,选择 "Overwrite"(覆盖)是指对除唯一标识符 UUID 和 ID 之外的属性进行更新或清空,且数据中携带的属性将被更新,未携带的属性将根据数据类型赋值为空字符串、null、0 等;选择 "Upsert"(插入更新)是指对历史数据中除唯一标识符 ID 和 UUID 之外的属性进行更新,且仅对数据中携带的属性进行更新,未携带的属性不做任何操作,用户可根据项目需要进行选择。
      并发数 最大可执行线程数,必须小于或等于 100。
      是否创建不存在的点 开启开关代表如遇数据在图中不存在时,系统将自动为其创建点;开关关闭时代表不为其创建点边。
      错误时停止导入 开启开关代表如遇 ETL 故障将自动停止数据导入;开关关闭时代表如遇 ETL 故障仍继续进行数据导入。

      当开启“错误时停止导入”开关时,如遇 ETL 运行故障,系统会停止导入,并保留已导入数据。用户需选择将“插入方式”设置为 Overwrite 并重新运行运行出错的 ETL,否则可能导致该 ETL 的运行再次失败。

      如下图所示:

      Diagram: 配置 ETL 导入策略

      配置数据提取源

      点击当前 ETL 数据提取源卡片上的 “配置” 图标,用户可查看和配置全部已创建的数据提取源。

      参数
      描述
      数据源 可从全部已创建的数据源中选择。
      选择库 可从已选数据源中选择可用的库。
      数据提取 可选择输入“点”数据或“边”数据。
      查询脚本 查询脚本来自于不同数据平台的查询语句,因而根据不同提取源语法结构有所不同。Ultipa Maker 将各平台查询语句的语法嵌入到一套查询模板中,用户可根据项目需要填写筛选条件对数据源进行筛选。CSV 或 DAT 格式的文件提取源无需设置查询脚本。

      Neo4j 的查询脚本举例:

      MATCH (n:Person) RETURN n
      

      其含义为找到所有为 Person(人)的点。

      Hive 的查询脚本举例:

      select * from mini_circle_edge_agree2 limit 10
      

      其含义为返回 10 个 mini_circle_edge_agree2 里的点。

      如下图所示:

      Diagram: 配置数据提取源

      选择数据载入源

      点击当前 ETL 数据载入源卡片上的 “配置” 图标,用户可查看全部已创建的 Ultipa Graph 载入源,点击数据源卡片上的 “选择” 按钮即选定该数据源为载入源。

      如下图所示:

      Diagram: 配置数据载入源

      设定字段映射

      数据源配置完成后,在“字段映射”模块“图属性”下的下拉菜单,可为载入数据选择 Ultipa Graph 中对应 Schema 的属性,为数据入图形成映射关系:

      Diagram: 选择图属性构成字段映射

      设置 ETL 的运行顺序

      ETL 的运行顺序可根据项目需求进行调整,如下图:

      Diagram: 调整 ETL 运行顺序

      项目调度

      项目定时器和触发器可以用来设置开始运行项目的周期、频率、时间、以及规则。用户可根据项目运行的不同需要完成部分或全部的调度配置。

      项目定时器

      项目定时器可以用来指定项目开始运行的时间、频次和周期,如下图:

      Diagram: 定时器

      项目触发器

      项目触发器可以用来指定项目开始运行的规则,如下图:

      Diagram: 触发器

      运行项目

      项目配置完成后,可点击位于页面左上角的“按设定顺序运行”按钮开始项目:

      Diagram: 开始运行项目

      注意:运行中的项目的配置无法修改,用户需要先停止项目再对配置进行修改。

      查看日志

      开始项目后,用户可查看每个ETL的运行日志了解项目运行的细节:

      Diagram: 查看运行日志

      请完成以下信息后可下载此书
      *
      公司名称不能为空
      *
      公司邮箱必须填写
      *
      你的名字必须填写
      *
      你的电话必须填写
      *
      你的电话必须填写