Python爬虫学习_02_抓包工具使用





02_抓包工具使用



1. fiddler

    ① 安装fiddler,配置:

            tools----options----https-----选中capture https------decrypt https traffic----ignore xxx;

            点击actions,信任根证书,重启fiddler配置完成。


    ② 所抓取到的内容

        <> :HTML内容

        {json} :json数据

        {css}、{js}:对应css、js文件


    ③ 点击 F12 开关抓包

        选中一条信息,然后右侧窗口多看 Inspector 下的 Raw。Inspector的右上框为http请求信息,下框为http响应信息。

        左下方黑色框可以输入命令,比如clear清空 ,select json就是选择所有json文件。


happysneaker.com



happysneaker.com

    

2. urllib库

    ① python自带的,模拟浏览器请求的库,常用俩:urllib.request 和 urllib.parse

    encode()-----字符串转为二进制、decode()-------二进制代码转字符串

比如简单的获取网页HTML代码:happysneaker.com


happysneaker.com






Web安全技术分享
请先登录后发表评论
  • 最新评论
  • 总共0条评论