创建推送任务

通过该操作,可以创建复制上云的推送任务,将本端对象推送至云端。

前提条件

操作步骤

  1. 选择“资源 > 数据流动 > SmartSync > 推送任务”。
  2. 在左上方的“帐户”下拉框中选择需要创建的推送任务的命名空间所属的帐户。
  3. 单击“创建”。

    系统弹出“创建复制上云推送任务”页面。

  4. 设置复制上云推送任务基本信息。相关参数如表1所示。

    表1 推送任务基本信息参数

    参数名称

    参数说明

    任务名称

    复制上云推送任务的名称。

    说明:

    只能包含字母、数字、特殊字符!"#$%&'()*+,-./:;<=>?@[\]^_`{|}~和空格,不能以空格开头和结尾。

    命名空间

    本端集群帐户创建的命名空间。

    异构设备

    云端设备。

    说明:

    如果无可选异构设备,请参考增加异构设备操作进行添加。

    AK别名

    异构设备的业务访问用户的别名

    说明:
    • 选择“异构设备”后,下拉框中会有对应异构设备的AK别名。
    • 选定“AK别名”后,帐户的“AK”(异构设备的帐户或对象用户AK,用于本地存储对接异构设备)值会自动展示在下方。

    目标桶名

    异构设备的目标桶名称。

    说明:
    • 目标桶名称长度为1~255位,只支持字母、数字、“-”、“_”和“.”,必须包含字母或数字。
    • 如果异构设备是OceanStor Pacific系列产品,此处目标桶名即为Pacific的命名空间。

    执行模式

    任务的执行模式。
    • 一次性

      所创建任务的目标数据仅向云端推送一次。

    • 周期性

      所创建任务的目标数据按照目前设置和自定义周期向云端周期推送。

      [取值范围]

      分:15min ~60min

      小时:1h~24h

      天:1d~365d

      月:1m~12m

      说明:

      过滤策略选择“按文件列表”时,“执行模式”不支持选择“周期性”。

    自动启动

    任务是否在完成创建之后自动启动。包含立即启动和延时启动两种启动方式。

    • 立即启动

      任务创建完毕后,启动任务并立即执行任务。

    • 延迟启动

      任务创建完毕后,任务启动时间延迟至手动设置的目标时间,到达目标时间后系统立即执行任务。

    说明:
    • 该项设置默认处于关闭状态。需要在任务创建完毕后手动启动任务
    • 若开启此项,任务创建完毕后将按照自定义启动规则启动并执行。

    日志命名空间

    存放任务执行日志的命名空间。

    说明:
    • 日志命名空间不能与命名空间一致。
    • 日志命名空间不能选择审计日志命名空间。

    日志路径

    日志在日志命名空间中的存放路径,用于与其它任务的日志进行区分。

    说明:

    只能包含字母、数字、“_”、“.”、“/”、“-”。

    日志范围

    日志的记录范围。

    • 异常日志

      仅记录任务执行失败的操作日志。

    • 全部日志

      记录全部日志信息,包括任务执行成功和执行失败的操作日志。

    一致性

    是否在云端进行一致性数据校验。开启后,云端可以比较本端对象携带的摘要值与实时数据计算的摘要值的一致性进行数据校验。支持选择MD5算法或SHA-256算法进行一致性校验。

    说明:
    • 开启一致性校验会影响数据传输性能。
    • 针对多段对象和大对象(大于5G)不做一致性校验。
    • 默认使用MD5算法进行一致性校验。若要使用SHA-256算法进行校验,需要使用CLI命令开启,请参考对应版本《特性指南》中的“SmartSync特性指南(对象服务) > FAQ > 如何查询和修改一致性校验的算法类型”章节。且需要满足两个条件:
      • 本端对象需携带“x-amz-checksum-sha256”HTTP标头。
      • 云端设备需支持使用SHA-256算法执行一致性校验。

    单节点最大速率

    存储节点的最大传输速率。

    [选项值]

    • 低(150MB/s)
    • 中(300MB/s)
    • 高(450MB/s)
    • 最高(10240MB/s)
    • 自定义

      通过输入数值自定义最大速率,取值范围:1MB/s~10240MB/s。

      说明:
      • 节点总速率=单节点最大速率*节点数。
      • 异构设备配置QoS策略中的最大带宽和节点总速率之间的最小值就是任务传输的最大速率。
      • 该速率会对前台业务有一定影响。当前台业务繁忙时,建议将该值设置低一点。

    指定时间段最大速率

    可为特定时间段设置最大传输速率。

    • 起止日期

      设置开始日期和结束日期,计时单位为年、月、日。开始日期需小于结束日期。

    • 起止时间

      基于时间段设置开始时间和结束时间,计时单位为时、分、秒。开始时间需小于结束时间。

    • 单节点最大速率

      基于时间段和起止时间,通过输入数值设置最大传输速率。取值范围:1MB/s~10240MB/s。

      说明:
      • 最多可以设置3个起止时间的最大速率。
      • 在“起止日期”段中,任务将每天按照“起止时间"段设置的“单节点最大速率”执行。

  5. 可选:启用“过滤策略”,可以根据实际需求选择“自定义”过滤策略或者“按文件列表”的过滤策略。

    • “自定义”过滤策略通过“按文件名称”、“按文件大小”、“按文件操作时间”、“按前缀”、“按标签”筛选符合过滤条件的目标数据。具体参数说明参考表2
      表2 创建复制上云推送任务自定义过滤策略参数说明

      参数名称

      参数说明

      按文件名称

      按对象名称过滤目标数据。可选择“包含”和“排除”两种过滤策略。

      • 包含

        系统将筛选出包含自定义字符串的目标数据推送到云端。

      • 排除

        系统将筛选出不包含自定义字符串的目标数据推送到云端。

        说明:

        支持模糊匹配规则:

        • 通配符“*”能匹配任意字符,只支持以下写法:example、*、*example*、*example、example*、example*example,多个匹配条件时用英文逗号分隔。输入的文件名称中如果存在“,” 需要进行转义,输入“\,”。
        • [示例]如有文件名为object,此处输入obj无法筛选对象,需要输入obj*。

      按文件大小

      按对象大小过滤目标数据。可通过“大于”或“小于等于”自定义值两种规则过滤。

      [取值范围]

      KB:0~4398046511104

      MB:0~4294967296

      GB:0~4194304

      TB:0~4096

      PB:0~4

      按文件操作时间

      按对象操作时间过滤目标数据。支持crtime、mtime、ctime、atime四种时间类型进行过滤。

      • crtime:对象的创建时间。
      • mtime:对象的修改时间,记录了对象内容最后一次修改的时间。
      • ctime:对象的更改时间,记录了对象的元数据最后一次修改的时间。
      • atime:对象的访问时间,记录了对象最后一次被访问的时间。

      可为每个时间类型自定义时间范围(对象的操作时间与当前时间的间隔时间)。包括“小于等于”、“大于”和“不过滤”三种策略。支持小时、天两种时间单位。

      [取值范围]

      小时:0~26304

      天:0~1096

      说明:

      “执行模式”选择“一次性”时,才能选择“按文件操作时间”过滤。

      按前缀

      按对象前缀过滤目标数据。

      按标签

      按对象标签过滤目标数据。

      说明:
      • 本端"命名空间”要开启对象协议,才能选择"按标签”过滤。
      • 标签的“键”和“值”分别是对象标签的key和value。
    • “按文件列表”的过滤策略通过导入自定义的待推送数据清单筛选符合过滤条件的目标数据。
      • “执行模式”选择“周期性”时,“过滤策略”不支持选择“按文件列表”。
      • 文件列表只支持UTF-8格式。

  6. 单击“确定”,完成复制上云推送任务的创建。