python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据

来源： 2023-04-09 08:08:00 人气：

字号：小号| 大号

服饰茶文化酒文化礼仪文化祭祀文化中国庙会风土人情方言传统节日书画武术戏曲宗教信仰中国儒学遗址遗产中国建筑文化饮食文化民族历史文化艺术影视文化

【内容导读】动态加载数据的捕获（爬取豆瓣电影数据）现在我打算爬取这个页面：话不多说，先上代码：import requests# 爬取豆瓣电影中的动作片详情数据headers = {User-Agent: Mozilla/5.0 (Windows N

动态加载数据的捕获（爬取豆瓣电影数据）

现在我打算爬取这个页面：

python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据(1)

话不多说，先上代码：

import requests # 爬取豆瓣电影中的动作片详情数据 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/93.0.4577.82 Safari/537.36' } url = 'https://movie.douban.com/typerank?type_name=动作&type=5&interval_id=100:90&action=' response = requests.get(url, headers=headers) page_text = response.text with open('./douban.html', 'w', encoding='utf-8') as f: f.write(page_text)

代码运行后，打开 douban.html：

python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据(2)

我们发现，程序并没有爬取到相关数据。这是为什么呢？

动态加载数据的捕获

什么叫做动态加载的数据？

我们通过requests模块进行爬取数据无法每次都实现可见即可得，有些数据是通过非浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据，那么这些通过请求请求到的数据就是动态加载的数据

如何检测网页中是否存在动态加载数据

基于抓包工具动态进行局部搜索：

在当前网页中打开抓包工具，捕获到地址栏url对应的数据包，在该数据包中response选项卡搜索我们想要爬的数据，如果搜索到了就不是动态加载数据，如果没有搜索到，那就是动态加载数据

python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据(3)

如果数据为动态加载，那么我们如何铺货到动态加载的数据

基于抓包工具进行全局搜索

定位到动态加载数据对应的数据包，从该数据包中就可以提取出

请求的url
请求方式
请求携带的参数
看到响应的数据

python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据(4)

python爬取豆瓣影评，利用Python爬虫爬取豆瓣电影数据(5)

现在我们就可以写代码进行爬取了：

url = 'https://movie.douban.com/j/chart/top_list' params = { 'type': '5', 'interval_id': '100:90', 'action': '', 'start': '0', 'limit': '20' } response = requests.get(url=url, params=params, headers=headers) # .json() 将获取的字符串形式的json数据反序列化成字典或列表对象 page_text = response.json() print(page_text) # 解析出电影的名称评分 for movie in page_text: name = movie['title'] score = movie['score'] print(name, score)

思考:

基于抓包工具进行全局搜索不一定每次都能定位到动态加载数据对应的数据包？

原因：如果动态加载的数据是经过加密的密文数据。（后续会详解）

关注 Python涛哥，学习更多Python知识！

男女闺蜜能发展到恋人吗且听网友是怎么说的
男女闺蜜，说起来好像是电视剧中才会存在和出现的关系，其实不然，在生活中或者你身边也有这样的关系存在。任何一对男女闺蜜，其实两人之间都有一个不可言说的小故事，这个故事或许是关于ta的，也或许是为了更接近一步，害怕表白的那种，但是男女闺蜜真的就纯洁吗？男女闺蜜做太详情>>

2024-01-16
赢了自己才赢了江湖是什么歌赢了江湖完整版歌词介绍
最近抖音上面有一首歌曲非常的火爆，很多小伙伴都很喜欢用这首歌作为自己视频的背景音乐！给人的感觉就是非常的感动豪气！“赢了自己才赢得江湖，有多少世间万物沦落为孤独一注”，那种满满正能量，让人觉得精神一震，这种赢了自己才赢了江湖的自在洒脱是详情>>

2024-01-16
武当王也拜见老天师是什么梗什么意思出处在哪里
抖音是现在比较火爆的一个社交APP，大家都很喜欢在抖音上面分享自己的生活，而抖音上面一些视频也在慢慢的走红起来！当一个视频火起来以后，大家就会争相的模仿！最近抖音上有个视频在慢慢的走红，“武当王也拜见老天师”，很多小哥哥小姐姐争相模仿！详情>>

2024-01-16
太空沙有毒吗孩子玩的太空沙有害处吗
太空沙是现在网络上比较流行的一种小孩玩具了，是一种新型的儿童玩具，在抖音上面慢慢的走红。可塑性是非常强的，能够开发孩子的智力，而且家长和孩子一起玩沙子的过程中，还能够和孩子进行一个良好的互动，对促进亲子感情有很好的效果！可以说是非常受欢迎的一种儿童玩具了。但毕详情>>

2024-01-16
虎妈狼爸式教育的好处虎妈狼爸教育的优缺点分析
现在家长对孩子的教育问题都是非常看重的，毕竟在这个发展迅速的年代，如果孩子没有良好的教育，那么以后的生活就会非常的艰难！所以在孩子出生以后，家长们就为孩子的教育问题开始操心，虎妈狼爸是我们中国最常见的一种家庭教育方式，俗话说的好，前有虎后有狼，中间隔着兔和羊！详情>>

2024-01-16
李现12厘米梗什么意思李现个人资料及作品成就
相信绝大部分的滚中都对李现并不陌生，目前正在热播的青春励志言情剧《亲爱的，热爱的》他也正是剧中的男主角韩商言，而因为在剧中出色的表现，所以李现最近在网上的热度也特别高，甚至还频繁上热搜。而正因为李现的爆红，所以网上关于他的一些个人言论，以及资料背景也被一一曝光详情>>

2024-01-16
双胞胎长得不一样是怎么回事原来是这样的原因
生双胞胎是一件小概率的事情，同时也是一件非常幸福的事情，自己能够只痛一下就将孩子生下来了，而且是两个长得一样粉雕玉琢的小宝贝，真的是要多开心就有多开心了！可能在我们大多数人的印象中，双胞胎都是长得一模一样，难分彼此的~但是有些网友却发现，有些双胞胎长得一点都不详情>>

2024-01-16
不二家棒棒糖恐怖故事是什么不二家恐怖故事的真相
不二家棒棒糖应该是很多人都不陌生的吧，不二家是日本比较著名的零食品牌， logo是一个可爱女生舔嘴唇的形象，这个小女孩可以说是深入人心啊，是很多人童年的回忆，但是网络上却流传出来，在这个可爱形象的背后，是一个非常恐怖的故事！接下来小编就给大家带来了不二家棒棒糖详情>>

2024-01-16