json查看_json在线工具
- 网络推广
- 2025-01-04 23:44
- 1
如何用python爬取网页中隐藏的div内容?
你说的隐藏的div内容,应该是动态加载的数据吧,不在网页源码中显示,只在加载网页时才请求数据进行显示,一般情况下,这种数据都保存在一个json文件中,只要抓包分析出这个json文件的地址,然后再根据json文件结构进行解析,很快就能获取到动态加载的div数据,下面我以爬取人人贷上面的散标数据为例,简单介绍一下python如何爬取div动态加载的数据,实验环境win10+python3.6+pycharm5.0,主要步骤如下:
json查看_json在线工具
json查看_json在线工具
1.首先,打开散标数据,如下,爬取的信息主要包括年利率、借款标题、期限、金额和进度这5个字段信息:
右键对应元素进行检查,可以看出所有的数据嵌套在div标签中,如下:
打开网页源码,我们按Ctrl+F查找对应的数据,会发现所查找的数据都未在网页源码中,如下,即数据都是动态加载,所以直接解析原网页是找不到div嵌套的数据的:
2.接着,我们按F12调出开发者工具,依次点击“Network”->“XHR”,F5刷新页面,就会看到动态加载的json文件,查看这个文件,内容如下,左边为json文件的地址,右边就是我们需要爬取的div数据:
3.对应上面的json文件,我们就可以直接获取并解析json了,这里主要用到requests和json这2个模块,其中requests用于根据地址获取json文件,json用于解析json文件,提取出我们所需要的信息,即div动态加载的数据,测试代码如下,非常简单:
运行程序,截图如下,已经成功爬取到div加载的数据:
至此,我们就完成了利用python爬取div动态加载的数据。总的来说,整个过程非常简单,最主要的还是抓包分析,只要你有一定的爬虫基础,熟悉一下上面的代码,多调试几遍程序,很快就能掌握的,当然,你也可以使用selenium进行爬取,直接解析就行,网上也有相关教程和资料可供参考,非常丰富,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。
两款JSON可视化工具,配合Swagger使用效率大幅提升!
JsonHero是一款开源的JSON可视化工具,目前在Github已有2.9K+Star,通过JsonHero可以非常方便地查看JSON数据,它支持列视图、树视图和编辑视图,总有一款适合你!
JsonVisio是一款简洁易用的JSON可视化工具,目前在Github已有4.1K+Star,可以支持JSON格式化、编辑和校验,并且能根据JSON生成树状图。
通过使用上面两种JSON可视化工具,就算只使用Swagger来调试接口也不愁了!细心的小伙伴应该可以发现,JsonHero只支持查看JSON,并不支持编辑,所以编辑JSON还得使用JsonVisio。不过项目作者在Issues里面回复到,以后版本会进行支持。
怎么在浏览器上查看json数据
在firefox中按F12,进入开发者工具,然后选到网络标签,再打开需要返回JSON的页面,就可以看到相应的数据,如下图所示:
1、点重新载入
2、按类型排序,选JSON类型数据
3、点相应的连接,在右侧就会显示json数据
json文件怎么打开
一、JSON后缀的文件是什么
JSON是一种轻量级的数据交换格式。
它基于ECMAScript(欧洲计算机协会制定的js规范)的一个子集,采用完全于编程语言的文本格式来存储和表示数据。
简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。
易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。
二、用什么打开
我这里一个绿色的Json文件查看器,大小只有3.4mb左右。
特别支持打开超大型的JSON文件,可以秒开MB单位的JSON文件,也可以快速打开GB单位的JSON文件。
用记事本就可以打开了。换句话说,任何文本编辑工具都可以打开。
json只是一种约定的格式,一般是给程序读取的。
最常见的是浏览器收藏格式,也可以使用浏览器打开。
版权声明:本文内容由互联网用户自发贡献。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 836084111@qq.com,本站将立刻删除。
下一篇