最近在爬一个网站。有5万条左右的数据，为了友好期间，把间隔时间设置为5s，这个算下来总共要花好几天的时间。中间由于网络原因中断过几次，每次都得从头开始爬。所以就想着用断点续爬。正好scrapyd-redis 满足这个需求。