Python爬虫代理ip如何使用？Python爬虫怎么用代理ip发送请求

python任何爬虫程序的本质都是向网页服务器发送请求来获取数据返回，而在这个过程之中使用的就是本机ip。而访问频繁就有可能出现ip地址被限制而无法访问的情况，所以就需要使用代理ip来绕过这个限制了。下面有python爬虫代理ip使用方法，想学的话就继续阅读吧。

一、proxies参数

python爬虫都是通过requests已经封装好的get方法或者是post方法来向网站服务器发送请求的，而这些方法调用时可以传入不同的参数来进行各种设置或者带数据访问，其中proxies参数就是用来设置代理ip的。

该参数的意思是用其里面的ip取代本地ip，而它则是以键值对形式存在的。字典键表示该代理ip使用的网络传输协议是什么，字典值就是具体的ip地址以及端口号了。而且可以有多个代理ip同时存在，爬虫会自己判断哪些可以使用从而用其去访问网站，示例如下：

proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}

二、代码示例和解析

import requests
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0'}
proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}
html = requests.get(url=url,proxies=proxies,headers=headers,timeout=5).text
print(html)

使用代理ip发送爬虫请求一般会去设置多个不同或者相同的网络协议，这是因为当访问的网站，也就是抓取数据的url地址使用这协议的话。就会选取对应的代理ip来对其进行访问，这样就可以避免出现跨域等问题了。并且还可以通过timeout参数来设置请求超时时间，超过一定时间后就不会浪费资源一直尝试访问该站点了。

以上就是关于“Python爬虫代理ip如何使用？Python爬虫怎么用代理ip发送请求”的全部内容了，希望对你有所帮助。