书接上文(https://www.laoqiange.club/2023/05/16/2022-review/…
2023年终总结
在 上张贴发表回复
书接上文(https://www.laoqiange.club/2023/05/16/2022-review/…
我用的是mac电脑,之前在用langchain,我想看下发送给openai 的请求具体是什么样子的,所有就想着…
.report_system占用一半内存
2022总结
npm i 报错
2021一年回顾
记录一下在win10下用virtualbox和vagrant搭建虚拟机开发环境的过程
2020年整年经历回顾与2021年展望
最近业余时间在用scrapy来爬网上的一些资源(都是公开的),为了便于管理和界面优化就用了scrapyweb。
最近在爬一个网站。有5万条左右的数据,为了友好期间,把间隔时间设置为5s,这个算下来总共要花好几天的时间。中间由于网络原因中断过几次,每次都得从头开始爬。所以就想着用断点续爬。正好scrapyd-redis 满足这个需求。