抓取APP数据和抓取网页数据是不太一样的,抓取网页数据可以采用模拟访问网站然后抓取网页接收内容的模式进行数据抓取。而APP则更倾向于通过截获数据传输包的形式进行(Wireshark和Fiddler+Python)。APP数据采集的常见思路是怎样的呢?和天启IP一起来看看吧~
APP数据采集常见思路
一、App数据抓取分析
凡是可以看到的APP数据都可以抓取,只是时间成本的问题。大部分app通过抓包软件就可以分析出抓取参数并抓取到信息;一部分app可能需要适当的反编译;还要一部分app通过各式各样的签名,证书,设备绑定等方法,隐藏加密算法。
二、爬取思路
有过代码经验或APP开发的同学都很容易理解,其实很多APP,走的都是webservice通讯协议的方式,并且由于是公开数据,而且大部分是无加密的。所以只要对网络端口进行监测,对APP进行模拟操作,即可知道APP里面的数据是如何获取的。我们只需要写代码模拟其请求,无论POST还是GET,即可得到该请求所返回的信息。再通过对返回的信息结构化解析,即可得到我们想要的数据。