Python爬虫怎么爬取图片?python爬虫抓取百度图片方法
罗西汉
优草派
得益于python强大的第三方库和简洁明了的语法结构可以很清晰的构建出一个爬虫脚本,但是这种简单的爬虫脚本是直接将整个网页的文本数据返回的,如果想要爬取图片该怎么办?那么今天这篇文章就给大家带来python爬虫抓取百度图片的方法。
1.打开百度搜索引擎,随便搜索一个关键词,然后在搜索栏下选择图片这个选项。按下F12打开开发者窗口,在打开的窗口中可以看到有一个XHR选项,选择其下面的Headers并复制Request Url后面的地址。
2.导入一个库,并将刚才复制的链接这样子写在代码中,示例如下:
import requestsimport jsonimport os url = ’复制的链接’ param = { ’queryword’:搜索关键词 } # 转换编码格式为utf-8 response = requests.get(url=url, headers=header, params=param) # response中就是获取到的图片数据 response.encoding = 'utf-8' response = response.text # 将数据转换成容易理解的JSON格式 data = json.loads(response)
3.将已经整理后的数据再次进行清洗提取处理,只保留图片的路径和图片名称,其余的冗余数据全部清楚掉,具体代码如下:
num = data["data"] # 括号内的data是JSON数据中的属性名称 for i in range(len(a)-1): data = a[i].get("thumbURL", "not exist") print(data) # 输出图片路径
以上就是关于“Python爬虫怎么爬取图片?python爬虫抓取百度图片方法”的全部内容了,想要了解更多python的实用知识和代码示例可以在网页顶部栏目中找到python查看更多哦。
【原创声明】凡注明“来源:优草派”的文章,系本站原创,任何单位或个人未经本站书面授权不得转载、链接、转贴或以其他方式复制发表。否则,本站将依法追究其法律责任。