作为当前最为活跃的社交平台，微博拥有着极大的用户量，每天会产生数以万计的内容信息。而将这些数据采集下来，对我们对微博的活动、事件进行分析有着极大的帮助。为了帮助大家更好地收集微博数据，下面分享一些爬取微博数据时防止被墙的小技巧，希望可以帮助到大家。
Python微博爬虫有哪些技巧？
技巧一：设置cookies
cookie是指用于在客户端存储的一些被加密的数据，很多网站识别用户身份都是依靠cookies，如果频繁地用一个身份发送访问请求，就很有可能会被网站怀疑为爬虫，此时，网站就可以利用cookie找到这个访问的用户而拒绝其访问。可以用两种方法防止这种情况：自定义设置cookie策略，防止cookie rejected问题；禁止cookies。
技巧二：修改IP
对于微博来说，识别用户主要依靠IP，而不是账号。所以，当我们连续抓取很多数据的时候，通过切换账号的方式意义不大，因为还是同一个IP地址。web server应对爬虫的策略之一就是直接封禁掉IP或者整个IP段，当IP被禁封后，使用代理IP切换到其他IP继续访问即可。
技巧三：修改User-Agent
User-Agent是指包含浏览器信息、操作系统信息等的一个字符串，也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。
具体方法是把User-Agent的值改为浏览器的方式，甚至可以设置一个User-Agent池（list，数组，字典都可以），存放多个“浏览器”，每次爬取的时候随机取一个来设置request的User-Agent，这样User-Agent会一直在变化，防止被屏蔽。
以上就是针对微博数据抓取的一些小技巧，希望能够帮助到大家。
