使用同一个IP地址频繁抓取数据，IP容易被封。可以使用代理解决这个问题。
Month: August 2020
WordPress目录下产生一堆随机文件
WordPress目录下突然多了一堆随机文件，本文分析原因并给出解决方法。
爬虫与反爬：使用用户代理User-agent
网页抓取机器人容易被服务器识别并拒绝提供服务，通过网页请求指定用户代理User-agent为浏览器，将爬虫伪装成浏览器访问，从而提升爬取成功率。
使用同一个IP地址频繁抓取数据，IP容易被封。可以使用代理解决这个问题。
WordPress目录下突然多了一堆随机文件，本文分析原因并给出解决方法。
网页抓取机器人容易被服务器识别并拒绝提供服务，通过网页请求指定用户代理User-agent为浏览器，将爬虫伪装成浏览器访问，从而提升爬取成功率。