一、首先上网找到一个好用能用的代理
二、找到以后设置代理:
win10打开控制面板里的internet选项里的局域网设置,
在这里设置勾选,设置好代理后,点击确定。代理设置完毕。
三、代码实现
middlewares.py
class ProxyMiddleware(object):logger=logging.getLogger(__name__)#返回none不会有影响,返回response和request的话具体看官方文档def process_request(self,request,spider):self.logger.debug('Using Proxy')request.meta['proxy']='http://122.137.173.19:8080'return None
取消注释,设置使用middlewares。
好了,命令行输入访问吧,scrapy crawl httpbin
看orign,122.137.173.19,百度一下看看这是哪里的代理