1、Python快速上手爬虫的7大技巧 1基本抓取网页 get方法 post方法 2使用代理IP 在开发爬虫过程中经常会遇到IP被封掉的情况，这时就需要用到 代理IP 在urllib 2包中有Proxy Handler类， 通过此类可以设置代理 访问网页，如下代码片段 3Cookies处理 cookies是某些网站为了辨别用户身份进行session跟踪而 储存在用户；继上次爬取完广西科技大学的各个班级课表 接着来试着用Python爬虫登录查询并抓取学生的成绩当然爬取信息，需要学号和密码，这里只能用的自己的向大家说明上次，抓取学校班级的课表是一种简单的爬取，因为直接分析网页，获得自己所需要的数据即可这次是；可以发现，信息里不仅有帐号email和密码password，其实还有_xsrf具体作用往后看和remember_me登录界面的“记住我”两个值那么，在python爬虫中将这些信息同样发送，就可以模拟登录在发送的信息里出现了一个项_xsrf，值为2fc4ab0f0f144c2e478c436fe3 这个项其实是在访问知乎；步骤一研究该网站 打开登录页面 进入以下页面 “bitbucketorgaccountsignin”你会看到如下图所示的页面执行注销，以防你已经登录仔细研究那些我们需要提取的详细信息，以供登录之用 在这一部分，我们会创建一个字典来保存执行登录的详细信息1 右击 “Username or email” 字段，选择“查。

2、Python版本Python3x IDESublime text3 一为什么要使用Cookie Cookie，指某些网站为了辨别用户身份进行session跟踪而储存在用户本地终端上的数据通常经过加密比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容，登陆前与登陆后是不同的，或者不允许的使用Cookie和使用代理IP一样。

3、首先要AES解密，可以Pythonimport 包，解密mode是CFB，seed是quotuserIdquot+uid+quotseedquot的SHA256值，解密的key是seed024，iv是seedlenseedAF471BA37EFE6DD40FE4700EE337FEEEF65E2C8F203FCA；接下来，不妨尝试一下bilibili，这个平台虽然竞争激烈，但对于新手来说，它提供了足够的练习空间由于有强大的金主支持，bilibili对爬虫的容忍度相对较高，而且爬取过程中，你将接触到WebSocket视频流处理模拟登录等技术对视频数据的分析，如播放量和弹幕密度，又是一次装逼的绝佳机会总的来说，选择。

4、比较简单的方式是利用这个网站的 cookiecookie 相当于是一个密码箱，里面储存了用户在该网站的基本信息在一次登录之后，网站会记住你的信息，把它放到cookie里，方便下次自动登录所以，要爬取这类网站的策略是先进行一次手动登录，获取cookie，然后再次登录时，调用上一次登录得到的cookie，实现自动。