标签: 网络爬虫

1 篇文章

thumbnail
Linux服务器后台运行爬虫程序
本地长时期运行爬虫程序后,被检测反爬的几率大大增高。所以想到将爬虫部署到服务器,定期自动运行。但是,远程连接Linux服务器跑程序,如果本地电脑关机,linux服务器程序也会断掉,这是因为断开连接后,终端会收到SIGHUP(hang-up 挂断)信号从而关闭该会话期的子进程。 有几种方法可以解决这个问题: 1. 使用nohup命令,在命令前加上no…