文件核对 – 阿里云教程

2022年 10月 23日发表评论

腾讯云正在大促：点击直达阿里云超级红包：点击领取
免费/便宜/高性价比服务器汇总入口(已更新)：点击这里了解

本文以文件核对为例，引导您快速上手资金安全监控产品的主要操作链路。总体流程如下图所示：步骤一：新建数据源配置进入资金安全监控控制台后，需创建数据源配置，以便将数据源配置和数据源关联。登录资金安全监控控制台，在左侧导航栏单击数据资源配置

本文以 文件核对 为例，引导您快速上手资金安全监控产品的主要操作链路。

总体流程如下图所示：

文件核对 – 阿里云教程

步骤一：新建数据源配置

进入资金安全监控控制台后，需创建数据源配置，以便将数据源配置和数据源关联。

登录资金安全监控控制台，在左侧导航栏单击 数据资源配置。
在 数据源配置 页面上，单击 新建数据源配置。
在 新建数据源配置页面上，完成以下数据源配置。
- 数据源配置名称：数据源配置的名称，租户内唯一。本例中输入“Demo_数据源配置”。
- 类型：支持 OSS、FTP、DB、离线四种类型。本例中选择 OSS。
- 访问授权信息：需填写 accessKeyId、accessKeySecret、bucketName 和 endpoint。
  
  说明
  
  关于 accessKeyId 和 accessKeySecret 的获取方式，请参见获取 AccessKey。
配置完成后，单击 授权。

上述操作完成后，可在数据源配置列表页面，看到刚创建的数据源配置。

步骤二：新建数据源

登录资金安全监控控制台，在左侧导航栏单击 数据源。
在 数据源 页面上，单击 新建数据源。
在 新建数据源 页面上，输入以下配置信息：
- 数据源名称：数据源的名称。租户内唯一。本例中输入“Demo_数据源”。
- 创建类：提供文件和 DB 两个选项。本例中选择文件。
- 文件类型：提供 OSS 和 FTP 两个选项。本例中选择 OSS。
- 文件路径：文件存放路径，支持正则表达式。本例中输入“test/file.txt”。
- 数据源配置：选择 Demo_数据源配置。如果尚未创建数据源配置，可单击右侧的 新建数据源配置。详情请参见创建数据源配置。
- 文件属性：可选择 表格按行录入 或 JSON 导入。本例中选择 表格按行录入。
- 文件编码：文件编码类型，支持 UTF-8 和 GBK。
- 文件协议：用于定义文件的解析方式，目前支持 SP、DE 和 FUND 三种类型。
  - SP：简单协议布局模板（Simple Protocol）。
  - DE：蚂蚁集团自主提供的一种文件交互格式。
  - FUND：国标基金数据协议。
- 分隔符：字段间的分隔符。
- 字段：配置以下参数。如需配置多条，单击 新增属性 即可。
配置完毕后，单击提交完成创建。
重复上述步骤 1-4 再创建一个数据源，本例中为“Demo_数据源 2”。

步骤三：新建数据节点

为了统一管理资金业务表，便于其他用户识别、引用，您可以将待检查的资金业务表定义为数据节点。

登录资金安全监控控制台。
单击左侧导航栏中的 数据节点，进入 数据节点 页面。
单击 新建数据节点，在 新建数据节点 页面上，填写以下信息：
- 数据节点名称：节点的名称，租户内唯一。本例中输入“Demo_数据节点”。
- 创建类：支持文件、DB、离线。本例中选择文件。
- 描述：节点的备注信息，选填。长度为 1-500 个字符。
- 数据源：选择 Demo_数据源。如果尚未创建数据源配置，可单击右侧的 新建数据源 来创建。
- 参与核对字段：需要参与核对的字段。对于文件是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。
  
  说明
  
  如果有多个需要参与核对的字段，则中间用英文逗号（,）隔开。
- 排序字段：用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。
- 取数策略：可选择 每次取 1 行 或 取固定字段。
- 散列字段：用于数据分片时进行散列计算的字段。可以与排序字段保持一致。
- 散列位数：自定义的散列位数。
- 高级配置：默认保持关闭。
- 是否汇总核对：默认保持关闭。
配置完成后，单击提交。
重复上述步骤 1-4 再创建一个数据节点，本例中为“Demo_数据节点 2”。

上述操作完成后，可在数据节点列表页面，看到刚创建的节点 Demo_数据节点、Demo_数据节点 2。

步骤四：新建核对点

核对点用做进行资金业务表或表与表之间的核对检查，找到异常数据。

登录资金安全监控控制台，在左侧导航栏单击 核对点列表。
单击 新建核对点，进入 新建核对点 页面。
在 新建核对点 页面中，填写以下信息。
- 基本信息：
  - 核对点名称：核对点的名称，租户内唯一。本例中为“Demo_核对点”。
  - 核对场景：选择某一选定的核对场景。如果尚未创建核对场景，可单击右侧的 新建核对场景。详情请参见创建核对场景。
  - 描述：选填，核对点的备注信息，长度不能超过 500 个字符。
  - 负责人：在租户下本产品的用户名单中选择，可选多人。
- 核对配置：
  - 核对方式：支持 文件-文件、文件-DB、DB-DB 和离线。本例中选择 文件-文件。
  - 文件 1：用于核对的数据节点，选择 Demo_数据节点 。
  - 文件 2：用于核对的数据节点。选择 Demo_数据节点 2。
    
    注意
    
    文件 2 所选的数据节点不能与 文件 1 所选的数据节点相同。
  - 文件属性映射：配置属性参数（见下图）。如需配置多条，单击 新增属性 即可。
  - 触发条件：支持 定时任务 和 OpenAPI。本例中选择 定时任务。
  - 定时任务：事件触发规则执行的周期，本例中输入 0 0 16 * * ? ，表示每天 16 点触发。
  - 执行日历：默认按 自然日 执行规则。
  - 延迟告警（分钟）：在定时任务设置的时间点开始执行规则，如果在延迟告警配置的时长内没有执行完成，则触发告警通知。本例中选择 300 分钟。
配置完成后，单击提交。

步骤五：新建核对规则

资金安全监控基于规则进行资金业务表之间的核对检查，要执行核对任务，需要先创建规则。

在左侧导航栏上，单击 核对点列表。
进入 核对点列表 页面后，单击已创建的核对点名称，本例中为 Demo_核对点。
进入 核对点详情 页面，单击页面下方的 新建核对规则 按钮。
在 新建核对规则 页面中，填写如下配置信息：
- 基本信息
  - 规则名称：核对规则的名称，租户内唯一。本例中输入“Demo_核对规则”。
  - 核对方式：支持 明细核对、汇总核对、自校验核对 三种方式。
    - 明细核对：端到端明细一一核对。
    - 汇总核对：针对统计字段做汇总核对。
    - 自校验核对：单文件针对文件头和文件体对应字段做汇总核对。
  - 描述：规则的备注信息，选填，最大长度为 500 个字符。
- 核对配置
  - 节点信息：展示数据节点的信息。
  - 规则表达式：需配置相关参数（见下图）。如需配置多条，单击 添加一行 即可。
  - 高级配置：默认保持关闭。
填写完上述信息后，单击提交即可完成核对规则的创建。
（可选）对创建的核对规则执行全屏调试，确保规则文本的准确性。

步骤六：上线核对点

仅状态为 已上线 的核对点才会进行监控，即周期性地运行核对任务，并在发现差异数据时创建异常。

说明仅核对点负责人才拥有上下线权限。

进入 核对点详情 页面，单击右上方上线按钮。
核对点进入发布验证，状态变为 上线中。核对点成功上线后，核对点状态将变为 已上线。成功上线后，将按照指定的延迟执行时长，周期性执行核对任务，具体执行情况可在 核对点详情 页面的运行记录中查看。

步骤七：发现并处理异常

当核对点上线运行发现异常时，系统会按照核对规则粒度创建异常，记录在 异常列表 页面中。

说明

如果您订阅了核对点“执行发生异常告警”的通知内容，当异常创建时，系统会给您发送消息通知。

在左侧导航栏上，单击 异常列表，进入 异常列表 页面。
选择要处理的异常，单击其 ID，进入 异常详情 页面。
在 差异数据 页面，单击详情查看异常详情数据，进行相应排查。
单击 关闭异常 按钮，在 关闭异常 面板上填写如下信息，并单击提交。
- 是否误报：
  - 误报：例如 SQL 错误、数据错误或系统异常等，导致与核对预期不符的情况。
  - 非误报：判定后确定是异常现象。
- 是否资损：
  - 有资损：根据异常数据排查问题并分析原因，确定发生资金损失。
  - 无资损：未出现资金损失。
- 异常原因描述：长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因，便于后续复盘，也可以方便其他用户了解异常的原因。