Python怎么去抓取手机App的数据?python爬虫抓取app数据
在大多数的时候,使用python爬虫去抓取数据都是从电脑端的网页去抓取的。但是现在移动互联网很发达,怎么才能去抓取手机app的数据呢。这篇文章将会带来使用python爬虫抓取手机app数据的教程,往下看看吧。
在开始之前首先需要知道在互联网上任何数据的传输都是通过数据包的形式去传输的,所以和直接抓取网页不同,抓取手机app数据的话通过数据包是更加方便的。
1.使用搜索引擎搜索fiddler抓包工具进行下载,官网或者是其他的下载站点都能够下载中文版的fiddler。
2.下载完成后执行不用安装,解压到文件夹中然后启动执行程序就行。启动后在工具菜单中找到options这个选项然后点击HTTPS,在https中勾选上Decrpt HTTPS traffic,在出现的下来框中还有两个选项也要勾选。
3.之后点击HTTPS右边的Connections选项并勾选其中的后三个选项,然后复制port后面的端口号,这样fiddler的配置就完成了。
4.在电脑上打开命令行窗口输入ipconfig就可以获得当前电脑的网络信息了,将这里的ip地址记住或复制。然后在手机上进入WiFi的更多设置界面,在设置界面中将http代理方式设为手动然后将端口号和ip地址给复制到指定位置,这个操作必须保证手机和电脑处在同一局域网络下。
5.设置完成后打开浏览器在网址栏输入之前复制过的ip地址加上端口号,回车后会跳转到fiddler的信息页面,点击页面下方的FiddlerRoot certificate下载证书就行。
6.到这里设置就全部完成了,打开手机上任意一个软件然后浏览内容,在电脑上的fiddler软件中就可以看到抓包的结果了。
以上就是Python爬虫去抓取手机App的数据的全部步骤了。