RESTful接口

RESTful接口可以无缝整合神箭手的功能到客户的系统, 无需登录神箭手后台即可管理采集爬虫(包括创建, 启动, 停止, 查询状态, 修改配置等等).

实时API不支持RESTful接口.

神箭手提供的RESTful接口提供了11种管理采集爬虫的接口: 创建爬虫, 启动爬虫, 定时启动爬虫, 停止爬虫, 获取爬虫状态, 删除爬虫, 暂停爬虫, 继续爬虫, 修改爬虫设置, 修改爬虫节点, 获取爬虫速率.

通用接口说明

RESTful接口通过发送HTTP请求给神箭手实现:

HTTP请求方式: POSTGET(具体请求方式请参考每个接口的)

HTTP请求url: https://www.shenjian.io/rest/crawler/接口类型?请求参数

通用请求参数说明

参数 是否必填 说明
user_key 用户key(你可以在神箭手用户基本信息中查看你的user_key)
timestamp 当前时间戳(1970年01月01日起至现在的总秒数, 精确到秒)
sign 签名(用户key, 秒级时间戳, 用户密钥三个值顺序连接后用MD5加密得到的32位字符串, 大小写均可)

通用返回参数说明

参数 说明
error_code 返回码
reason 返回说明
data 返回内容(“创建爬虫”接口的返回内容包含crawler_id, 即爬虫ID; “其他”接口包含crawler_status, 即爬虫状态码)

通用返回码对照表

返回码 详情
0 成功
101 无效的user_key
102 无效的sign
103 爬虫不存在
104 请求频率超过限制(对于一个采集爬虫, 一秒内只能调用一次RESTful接口)
106 请求已过期(timestamp落后服务器时间超过5分钟)
500 (具体错误原因请在返回的”reason”字段中查看)

通用爬虫状态码对照表

注意: “创建爬虫”接口的返回内容无爬虫状态码, 而”其他”接口都有

状态码 说明
0 已停止
1 正在运行
2 爬虫刚初始化完成, 即爬虫刚创建, 还未改过配置
3 未启动
4 出现异常
5 正在停止
6 正在启动
7 已删除
13 定时休息中
14 正在暂停
15 已暂停
16 正在从暂停中恢复

通用接口调用成功示栗

注意: 接口调用成功后, 会返回爬虫状态码

{
"error_code": 0,
"reason": "success",
"data": {
"crawler_status": "爬虫状态码"
}
}

通用接口调用失败示栗

{
"error_code": 101,
"reason": "Invalid user_key"
}