文件核对 – 阿里云教程

步骤一：新建数据源配置

进入资金安全监控控制台后，需创建数据源配置，以便将数据源配置和数据源关联。

1. 登录资金安全监控控制台，在左侧导航栏单击 数据资源配置。

2. 在 数据源配置 页面上，单击 新建数据源配置。

3. 在 新建数据源配置 页面上，完成以下数据源配置。

   • 数据源配置名称：数据源配置的名称，租户内唯一。本例中输入“Demo_数据源配置”。

   • 类型：支持 OSS、FTP、DB、离线 四种类型。本例中选择 OSS。

   • 访问授权信息：需填写 accessKeyId、accessKeySecret、bucketName 和 endpoint。

     说明

     关于 accessKeyId 和 accessKeySecret 的获取方式，请参见 获取 AccessKey。

4. 配置完成后，单击 授权。

   上述操作完成后，可在数据源配置列表页面，看到刚创建的数据源配置。

步骤二：新建数据源

1. 登录资金安全监控控制台，在左侧导航栏单击 数据源。

2. 在 数据源 页面上，单击 新建数据源。

3. 在 新建数据源 页面上，输入以下配置信息：

   • 数据源名称：数据源的名称。租户内唯一。本例中输入“Demo_数据源”。

   • 创建类：提供 文件 和 DB 两个选项。本例中选择 文件。

   • 文件类型：提供 OSS 和 FTP 两个选项。本例中选择 OSS。

   • 文件路径：文件存放路径，支持正则表达式。本例中输入“test/file.txt”。

   • 数据源配置：选择 Demo_数据源配置。如果尚未创建数据源配置，可单击右侧的 新建数据源配置。详情请参见 创建数据源配置。

   • 文件属性：可选择 表格按行录入 或 JSON 导入。本例中选择 表格按行录入。

   • 文件编码：文件编码类型，支持 UTF-8 和 GBK。

   • 文件协议：用于定义文件的解析方式，目前支持 SP、DE 和 FUND 三种类型。

     • SP：简单协议布局模板（Simple Protocol）。

     • DE：蚂蚁集团自主提供的一种文件交互格式。

     • FUND：国标基金数据协议。

   • 分隔符：字段间的分隔符。

   • 字段：配置以下参数。如需配置多条，单击 新增属性 即可。

     

4. 配置完毕后，单击 提交 完成创建。

5. 重复上述步骤 1-4 再创建一个数据源，本例中为“Demo_数据源 2”。

步骤三：新建数据节点

为了统一管理资金业务表，便于其他用户识别、引用，您可以将待检查的资金业务表定义为数据节点。

1. 登录资金安全监控控制台。

2. 单击左侧导航栏中的 数据节点，进入 数据节点 页面。

3. 单击 新建数据节点，在 新建数据节点 页面上，填写以下信息：

   

   • 数据节点名称：节点的名称，租户内唯一。本例中输入“Demo_数据节点”。

   • 创建类：支持 文件、DB、离线。本例中选择 文件。

   • 描述：节点的备注信息，选填。长度为 1-500 个字符。

   • 数据源：选择 Demo_数据源。如果尚未创建数据源配置，可单击右侧的 新建数据源 来创建。

   • 参与核对字段：需要参与核对的字段。对于 文件 是指文件属性中的字段。对于 DB 是指 SQL 中查询出来的字段。

     说明

     如果有多个需要参与核对的字段，则中间用英文逗号（,）隔开。

   • 排序字段：用于指定对当前数据进行排序所依据的字段。可从输入的核对字段中选择。

   • 取数策略：可选择 每次取 1 行 或 取固定字段。

   • 散列字段：用于数据分片时进行散列计算的字段。可以与排序字段保持一致。

   • 散列位数：自定义的散列位数。

   • 高级配置：默认保持关闭。

   • 是否汇总核对：默认保持关闭。

4. 配置完成后，单击 提交。

5. 重复上述步骤 1-4 再创建一个数据节点，本例中为“Demo_数据节点 2”。

   上述操作完成后，可在数据节点列表页面，看到刚创建的节点 Demo_数据节点、Demo_数据节点 2。

步骤四：新建核对点

核对点用做进行资金业务表或表与表之间的核对检查，找到异常数据。

1. 登录资金安全监控控制台，在左侧导航栏单击 核对点列表。

2. 单击 新建核对点，进入 新建核对点 页面。

3. 在 新建核对点 页面中，填写以下信息。

   • 基本信息：

     • 核对点名称：核对点的名称，租户内唯一。本例中为“Demo_核对点”。

     • 核对场景：选择某一选定的核对场景。如果尚未创建核对场景，可单击右侧的 新建核对场景。详情请参见 创建核对场景。

     • 描述：选填，核对点的备注信息，长度不能超过 500 个字符。

     • 负责人：在租户下本产品的用户名单中选择，可选多人。

   • 核对配置：

     • 核对方式：支持 文件-文件、文件-DB、DB-DB 和 离线。本例中选择 文件-文件。

     • 文件 1：用于核对的数据节点，选择 Demo_数据节点 。

     • 文件 2：用于核对的数据节点。选择 Demo_数据节点 2。

       注意

       文件 2 所选的数据节点不能与 文件 1 所选的数据节点相同。

     • 文件属性映射：配置属性参数（见下图）。如需配置多条，单击 新增属性 即可。

       

     • 触发条件：支持 定时任务 和 OpenAPI。本例中选择 定时任务。

     • 定时任务：事件触发规则执行的周期，本例中输入 0 0 16 * * ? ，表示每天 16 点触发。

     • 执行日历：默认按 自然日 执行规则。

     • 延迟告警（分钟）：在定时任务设置的时间点开始执行规则，如果在延迟告警配置的时长内没有执行完成，则触发告警通知。本例中选择 300 分钟。

4. 配置完成后，单击 提交。

步骤五：新建核对规则

资金安全监控基于规则进行资金业务表之间的核对检查，要执行核对任务，需要先创建规则。

1. 在左侧导航栏上，单击 核对点列表。

2. 进入 核对点列表 页面后，单击已创建的核对点名称，本例中为 Demo_核对点。

3. 进入 核对点详情 页面，单击页面下方的 新建核对规则 按钮。

4. 在 新建核对规则 页面中，填写如下配置信息：

   • 基本信息

     • 规则名称：核对规则的名称，租户内唯一。本例中输入“Demo_核对规则”。

     • 核对方式：支持 明细核对、汇总核对、自校验核对 三种方式。

       • 明细核对：端到端明细一一核对。

       • 汇总核对：针对统计字段做汇总核对。

       • 自校验核对：单文件针对文件头和文件体对应字段做汇总核对。

     • 描述：规则的备注信息，选填，最大长度为 500 个字符。

   • 核对配置

     • 节点信息：展示数据节点的信息。

     • 规则表达式：需配置相关参数（见下图）。如需配置多条，单击 添加一行 即可。

       

     • 高级配置：默认保持关闭。

5. 填写完上述信息后，单击 提交 即可完成核对规则的创建。

6. （可选）对创建的核对规则执行 全屏调试，确保规则文本的准确性。

步骤六：上线核对点

仅状态为 已上线 的核对点才会进行监控，即周期性地运行核对任务，并在发现差异数据时创建异常。

说明 仅核对点负责人才拥有上下线权限。

1. 进入 核对点详情 页面，单击右上方 上线 按钮。

   

2. 核对点进入发布验证，状态变为 上线中。核对点成功上线后，核对点状态将变为 已上线。成功上线后，将按照指定的延迟执行时长，周期性执行核对任务，具体执行情况可在 核对点详情 页面的运行记录中查看。

   

步骤七：发现并处理异常

当核对点上线运行发现异常时，系统会按照核对规则粒度创建异常，记录在 异常列表 页面中。

说明

如果您 订阅 了核对点“执行发生异常告警”的通知内容，当异常创建时，系统会给您发送消息通知。

1. 在左侧导航栏上，单击 异常列表，进入 异常列表 页面。

2. 选择要处理的异常，单击其 ID，进入 异常详情 页面。

3. 在 差异数据 页面，单击 详情 查看异常详情数据，进行相应排查。

   

4. 单击 关闭异常 按钮，在 关闭异常 面板上填写如下信息，并单击 提交。

   • 是否误报：

     • 误报：例如 SQL 错误、数据错误或系统异常等，导致与核对预期不符的情况。

     • 非误报：判定后确定是异常现象。

   • 是否资损：

     • 有资损：根据异常数据排查问题并分析原因，确定发生资金损失。

     • 无资损：未出现资金损失。

   • 异常原因描述：长度不超过 500 个字符。可以详细写明判断为误报或非误报、有资损或无资损的原因，便于后续复盘，也可以方便其他用户了解异常的原因。