抓取京东评论数据

来源:互联网 发布:淘宝客服中心怎么装修 编辑:程序博客网 时间:2024/06/11 19:56

京东,淘宝等的评论数据貌似无法直接在源代码中查看,那么如何找到对应的评论数据的源代码文件呢?

这里要用到chrome浏览器的审查元素功能,以京东为例,点开一个评论页面,
这里写图片描述

然后在chrome中选择network的script,此时如果script中有内容先清空。

然后在京东的评论页面中点击下一页,这时chrome会捕捉到执行的脚本内容,会显示在script中,这里脚本的内容应该包含对调用下一页评论页面的请求,所以我们可以在这里得到下一页评论的文件的信息,如图:

这里写图片描述

然后具体哪个对应的评论的源代码文件,可以点开看看。我发现是第二个对应的评论数据,地址为http://s.club.jd.com/productpage/p-1648571-s-0-t-0-p-1.html?callback=fetchJSON_comment
多点几页可以发现京东评论的页面规律,那个1648571估计是商品的编号,p-1是第2页的评论,p-2是第3页评论,以此类推。

至此就可以得到所有评论的源代码文件了。

0 0