修改密码

请输入密码
请输入密码 请输入8-64长度密码 和 email 地址不相同 至少包括数字、大写字母、小写字母、半角符号中的 3 个
请输入密码
提交

修改昵称

当前昵称:
提交

申请证书

证书详情

Please complete this required field.

  • Ultipa Graph V4

Standalone

Please complete this required field.

Please complete this required field.

服务器的MAC地址

Please complete this required field.

Please complete this required field.

取消
申请
ID
产品
状态
核数
申请天数
审批时间
过期时间
MAC地址
申请理由
审核信息
关闭
基础信息
  • 用户昵称:
  • 手机号:
  • 公司名称:
  • 公司邮箱:
  • 地区:
  • 语言:
修改密码
申请证书

当前未申请证书.

申请证书
Certificate Issued at Valid until Serial No. File
Serial No. Valid until File

Not having one? Apply now! >>>

ProductName CreateTime ID Price File
ProductName CreateTime ID Price File

No Invoice

搜索
    中文

      项目

      本文介绍如何在 Ultipa Maker 中管理、新建、配置、和运行项目。

      管理项目

      项目页面可以添加新项目,查看项目详情,以及进行多项目管理。

      在 Project 主页面,用户可查看的项目基本信息包括:

      基本信息
      描述
      项目名称 项目的名称,由用户添加和修改。
      ETL 数量 单个项目中包含的ETL总量。
      创建时间 项目创建时间,新建项目时由系统记录并生成。
      开始时间 上一次项目开始运行的时间。
      状态 项目状态:“开始”代表项目已开始按照指定时间运行,“停止”代表项目已停止运行。
      描述 项目描述

      点击 “删除” 并在弹出窗口中确认可删除指定项目。

      Diagram: 查看和管理项目

      新建项目

      进入项目管理页,点击顶部的“+ 新建”按钮,在弹窗中添加项目名称和项目描述,然后保存生效:

      Diagram: 添加新项目

      删除项目

      配置项目

      用户可点击操作栏中的 “查看详情” 进入单个项目配置。 ETL(Extract,Transfer,Load),即数据提取、传输、载入,代表每一个数据迁移的进程,是项目数据迁移的最小单位,每个项目必须由一个及以上的 ETL 进程组成。用户需对所有 ETL 进程完成创建、配置、顺序设定后才能开始运行完整的项目。

      因此,创建、配置 ETL、设定 ETL 的运行顺序就构成了项目配置和数据迁移的主要内容。

      创建 ETL

      点击对应项目后的 “查看项目” 进入项目配置,点击 “+新建ETL",在弹窗中添加ETL名称:

      Diagram: 创建 ETL

      配置 ETL 导入策略

      进入ETL卡片,点击左上角的“配置”按钮,添加以下配置信息并保存:

      参数
      描述
      每批数量 每批最大导入数据量,必须小于或等于 1,000,000。
      插入方式 当前 ETL 中没有数据时,选择 “Normal”(正常)则为导入的正常模式;当前 ETL 中有历史数据时,选择 "Overwrite"(覆盖)是指对除唯一标识符 UUID 和 ID 之外的属性进行更新或清空,且数据中携带的属性将被更新,未携带的属性将根据数据类型赋值为空字符串、null、0 等;选择 "Upsert"(插入更新)是指对历史数据中除唯一标识符 ID 和 UUID 之外的属性进行更新,且仅对数据中携带的属性进行更新,未携带的属性不做任何操作,用户可根据项目需要进行选择。
      并发数 最大可执行线程数,必须小于或等于 100。
      是否创建不存在的点 开启开关代表如遇数据在图中不存在时,系统将自动为其创建点;开关关闭时代表不为其创建点边。
      错误时停止导入 开启开关代表如遇 ETL 故障将自动停止数据导入;开关关闭时代表如遇 ETL 故障仍继续进行数据导入。

      当开启“错误时停止导入”开关时,如遇 ETL 运行故障,系统会停止导入,并保留已导入数据。用户需选择将“插入方式”设置为 Overwrite 并重新运行运行出错的 ETL,否则可能导致该 ETL 的运行再次失败。

      如下图所示:

      Diagram: 配置 ETL 导入策略

      配置数据提取源

      点击当前 ETL 数据提取源卡片上的 “配置” 图标,用户可查看和配置全部已创建的数据提取源。

      参数
      描述
      数据源 可从全部已创建的数据源中选择。
      选择库 可从已选数据源中选择可用的库。
      数据提取 可选择输入“点”数据或“边”数据。
      查询脚本 查询脚本来自于不同数据平台的查询语句,因而根据不同提取源语法结构有所不同。Ultipa Maker 将各平台查询语句的语法嵌入到一套查询模板中,用户可根据项目需要填写筛选条件对数据源进行筛选。CSV 或 DAT 格式的文件提取源无需设置查询脚本。

      Neo4j 的查询脚本举例:

      MATCH (n:Person) RETURN n
      

      其含义为找到所有为 Person(人)的点。

      Hive 的查询脚本举例:

      select * from mini_circle_edge_agree2 limit 10
      

      其含义为返回 10 个 mini_circle_edge_agree2 里的点。

      如下图所示:

      Diagram: 配置数据提取源

      选择数据载入源

      点击当前 ETL 数据载入源卡片上的 “配置” 图标,用户可查看全部已创建的 Ultipa Graph 载入源,点击数据源卡片上的 “选择” 按钮即选定该数据源为载入源。

      如下图所示:

      Diagram: 配置数据载入源

      设定字段映射

      数据源配置完成后,在“字段映射”模块“图属性”下的下拉菜单,可为载入数据选择 Ultipa Graph 中对应 Schema 的属性,为数据入图形成映射关系:

      Diagram: 选择图属性构成字段映射

      设置 ETL 的运行顺序

      ETL 的运行顺序可根据项目需求进行调整,如下图:

      Diagram: 调整 ETL 运行顺序

      项目调度

      项目定时器和触发器可以用来设置开始运行项目的周期、频率、时间、以及规则。用户可根据项目运行的不同需要完成部分或全部的调度配置。

      项目定时器

      项目定时器可以用来指定项目开始运行的时间、频次和周期,如下图:

      Diagram: 定时器

      项目触发器

      项目触发器可以用来指定项目开始运行的规则,如下图:

      Diagram: 触发器

      运行项目

      项目配置完成后,可点击位于页面左上角的“按设定顺序运行”按钮开始项目:

      Diagram: 开始运行项目

      注意:运行中的项目的配置无法修改,用户需要先停止项目再对配置进行修改。

      查看日志

      开始项目后,用户可查看每个ETL的运行日志了解项目运行的细节:

      Diagram: 查看运行日志

      请完成以下信息后可下载此书
      *
      公司名称不能为空
      *
      公司邮箱必须填写
      *
      你的名字必须填写
      *
      你的电话必须填写
      *
      你的电话必须填写