数据表操作

节点配置

• 节点内按步骤依次配置，执行时会按顺序依次执行

• 【步骤0】固定为数据源，必须配置，后续步骤需要自行添加，至少存在一个自行添加的步骤

• 目前支持自行添加的步骤分为普通操作和数据集操作

  • 普通操作通常对应单条数据的增改、按条件删除、直接执行SQL语句

  • 数据集操作则需要选择来源数据集，并配置和目标数据表的映射关系，通常对应批量数据的增改

• 步骤在添加后，支持命名、删除、排序

数据源

• 数据表类型：

  • 选择需要操作的数据库，对应此空间的内置业务数据源，目前仅支持部分数据库类型，如果选择了暂不支持的类型，会在选择后提示（若您选择的数据库类型暂不支持，请联系产品经理）

  • 选择类型后，后续步骤可以选择的目标数据表，则被限制为属于该类型的。例如选择了MySQL数据库，则后续步骤只能选择数据表-MySQL元素

• 数据库同一事务：默认开启，启用后，本节点内的所有步骤为数据库同一事务。

操作-新增

用于新增单条数据。

• 目标数据表：选择符合数据源类型的数据表元素

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：会自动添加目标数据表的主键字段，点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

举例：

操作-更新

用于更新单条数据，配置类似操作-新增。

• 目标数据表：选择符合数据源类型的数据表元素

• 过滤条件：配置需要更新的数据范围，不开启则更新全表数据，条件编排器使用说明：DPL_专用编辑器

• 赋值：支持 UI 模式和表达式模式，模式切换会清空二级配置

  • UI 模式：点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式。

  • 表达式模式：直接输入 Python 表达式

举例：

操作-删除

用于删除数据。

• 目标数据表：选择符合数据源类型的数据表元素

• 过滤条件：配置需要删除的数据范围，不开启则会删除全表数据，请务必谨慎操作，条件编排器使用说明：DPL_专用编辑器

举例：

操作-SQL 语句

直接执行输入的 SQL 语句。

举例：

数据集操作-新增

用于批量新增数据，新增条数与输入的数据集条数相同。

• 目标数据表：选择符合数据源类型的数据表元素

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

数据集操作-更新

用于批量更新数据，更新条数与输入的数据集条数相同。

• 目标数据表：选择符合数据源类型的数据表元素

• 来源数据集：选择前序的、输出结果为数据集的节点，该节点的输出数据集，将会作为新增数据的来源

• 主键匹配：

  • 选择目标表和来源表的关联字段，会自动选择主键字段，并匹配同名字段

  • 点击添加按钮可以批量选择目标数据表的主键字段

  • 目标表必须至少存在一个主键字段

• 不匹配则新增：

  • 用于实现 upsert 逻辑

  • 如果来源表中存在无法与目标表匹配的数据，则对其进行新增

• 赋值：为目标表的字段赋值

  • 会自动匹配目标表与来源表的同名字段

  • 点击添加按钮可以批量选择目标数据表的字段，至少添加一个字段。支持的赋值类型有静态值、PY表达式、列

    • 列：选择来源数据表的列字段

• 分批：考虑到大数据量的情况，默认启用分批，可设置单批的最大数量，默认 5000 条

举例：

使用案例

案例元素（需联系产品经理开通权限，且仅内网可访问）：https://v3-test.deepfos.com/element-deep-pipeline/3-0-0/?elementName=test012201&folderId=DIRa365210d86f5&moduleId=DPL3_0&sign=YXBwSWQ9YmpvbHpzMDA4JnNwYWNlPWJqb2x6cw%3D%3D