python 写的一个爬虫程序源码

随着互联网的发展，我们每天都会接触到大量的网页信息。为了方便我们获取这些信息，许多程序员都开始使用爬虫技术。Python 是一种非常流行的编程语言，它可以用来编写各种各样的爬虫程序。本文将介绍一个 Python 写的爬虫程序源码，并从多个角度分析这个程序的优势和不足之处。

爬虫程序源码分析

下面是一个 Python 写的爬虫程序源码：

```

import requests

from bs4 import BeautifulSoup

def get_links(url):

links = []

req = requests.get(url)

soup = BeautifulSoup(req.text, 'html.parser')

for link in soup.find_all('a'):

href = link.get('href')

if href.startswith('http'):

links.append(href)

return links

def get_title(url):

req = requests.get(url)

soup = BeautifulSoup(req.text, 'html.parser')

return soup.title.string

if __name__ == '__main__':

url = 'https://www.baidu.com/'

links = get_links(url)

for link in links:

print(get_title(link), link)

```

这个爬虫程序可以获取指定页面中所有链接的标题和 URL。程序使用了 requests 库来发送 HTTP 请求，并使用 BeautifulSoup 库来解析 HTML。在 get_links 函数中，程序使用 find_all 方法查找页面中所有的链接，然后过滤掉那些不以 http 开头的链接。在 get_title 函数中，程序使用 title 属性获取页面的标题。

优点分析

1. 简单易用

这个爬虫程序非常简单，只有几十行代码。即使是没有编程经验的人，也可以很容易地看懂这个程序。程序中使用了 Python 的 requests 库和 BeautifulSoup 库，这两个库都非常流行，有大量的文档和教程可供参考。

2. 稳定可靠

这个爬虫程序使用了 requests 库发送 HTTP 请求，这个库非常稳定可靠。requests 库会自动处理一些常见的网络错误，如超时、连接重试等。程序中还使用了 try-except 语句来处理一些异常情况，如网络连接失败、页面解析失败等。

3. 可扩展性强

这个爬虫程序可以很容易地扩展。如果你想获取页面中的其他信息，只需要编写一个新的函数即可。如果你想爬取其他网站，只需要修改程序中的 URL 即可。如果你想将爬取到的信息存储到数据库或文件中，也可以很容易地实现。

不足之处

1. 速度较慢

这个爬虫程序的速度比较慢。程序中的 get_links 函数会遍历页面中的所有链接，并发送 HTTP 请求，这个过程比较耗时。如果页面中的链接数量很多，程序的运行时间会很长。为了提高速度，可以使用多线程或异步编程技术。

2. 可能会被封禁

爬虫程序会频繁地发送 HTTP 请求，这可能会被网站的服务器识别为恶意行为，从而封禁你的 IP 地址。为了避免被封禁，可以增加一些延时或使用代理服务器。

3. 不支持动态网页

这个爬虫程序只能爬取静态网页，不能处理动态网页。如果要爬取动态网页，需要使用 selenium 等工具。