定时运行数据清洗

登录神箭手后,打开某个未运行的数据清洗应用,点击 “启动”,会弹出设置清洗方式和定时运行的对话框:

可以设置:清洗方式定时运行,下面将具体介绍。点击启动后,应用将按照设定的方式休息或者运行。

清洗方式

主要是选择清洗的时候,如果清洗得到的新数据和输出数据源中的某条数据重复(主键相同),将如何处理。处理方式包括:

  • 更新输出数据中的原数据
  • 保留输出数据中的原数据,插入一条新版本

如果输入数据源和输出数据源不是同一个的话,还可以选择不保存重复的数据:

  • 不存储,跳过继续清洗
  • 不存储,停止清洗

定时运行

勾选 开启定时启动,便可以打开定时运行的设置:

可以选择运行的 频率有效期启动时间停止时间等,和爬虫的定时运行功能类似。