python请求头如何自定义？

在使用Python进行网络请求时，很多时候我们需要自定义请求头，以满足不同网站的要求或者隐藏我们的爬虫身份。本文将从多个角度介绍如何自定义Python的请求头。

一、什么是请求头？

在向服务器发送请求时，浏览器会将一些信息包含在请求头中，比如User-Agent、Cookie等。服务器根据这些信息来判断请求的来源、身份、权限等。因此，请求头中的信息对于爬虫来说非常重要。

二、如何查看请求头？

我们可以通过浏览器的开发者工具来查看请求头。在Chrome浏览器中，打开开发者工具，选择Network选项卡，然后刷新网页，我们就可以看到请求头和响应头的详细信息。

三、如何自定义请求头？

Python的requests库可以自定义请求头。我们可以通过以下两种方式来自定义请求头：

1.通过headers参数来设置

headers是一个字典类型的变量，其中包含了需要添加的请求头信息。例如：

```python

import requests

headers = {

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}

response = requests.get('http://www.baidu.com', headers=headers)

```

在上面的代码中，我们自定义了User-Agent请求头，将其设置为Chrome浏览器的请求头。这样，我们就可以隐藏自己的爬虫身份，获取到更多的数据。

2.通过Session对象来设置

使用Session对象发送请求时，我们可以在Session对象中设置默认的请求头信息。例如：

```python

import requests

s = requests.Session()

s.headers.update(

{'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'})

response = s.get('http://www.baidu.com')

```

在上面的代码中，我们创建了一个Session对象，并将User-Agent请求头设置为默认值。这样，在后续的请求中，我们就不需要再次设置请求头了。

四、请求头中常用的字段

1. User-Agent

User-Agent是浏览器向服务器发送请求时包含的一个请求头字段，用于标识浏览器的类型、版本和操作系统等信息。服务器可以根据User-Agent来判断请求的来源、身份、权限等。因此，对于爬虫来说，隐藏User-Agent是非常重要的。下面是一些常见的User-Agent：

```python

# Chrome浏览器

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

# Firefox浏览器

'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'

# IE浏览器

'Mozilla/5.0 (Windows NT 10.0; Win64; x64; Trident/7.0; AS; rv:11.0) like Gecko'

# Edge浏览器

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3 Edge/16.16299'

```

2. Referer

Referer是浏览器向服务器发送请求时包含的一个请求头字段，用于标识请求的来源页面。服务器可以根据Referer来判断请求的来源页面，从而进行一些特定的处理。例如，某些网站会根据Referer来判断请求是否来自搜索引擎，如果是，则会显示一些广告或提示信息。因此，在模拟人类行为的爬虫中，设置正确的Referer是非常重要的。

3. Cookie

Cookie是浏览器向服务器发送请求时包含的一个请求头字段，用于标识用户的身份和状态。服务器可以根据Cookie来判断用户的身份和权限等信息。因此，在模拟登录等场景中，设置正确的Cookie是非常重要的。

五、总结

本文介绍了Python的请求头自定义方法，包括通过headers参数和Session对象来设置请求头，以及常用的请求头字段。在爬虫中，设置正确的请求头是非常重要的，可以帮助我们隐藏爬虫身份、模拟人类行为和获取更多的数据。希望本文对大家有所帮助。