python爬腾讯视频,python爬取抖音数据

2022年 10月 20日 发表评论
腾讯云618会场:点此直达 阿里云618会场:点此直达
免费/便宜/高性价比服务器汇总入口(已更新):点此直达
前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

python免费学习资料以及群交流解答点击即可加入

python开发环境

python 3.6pycharm import requests# pip install requests 目标网页分析

全部都是漂亮的小姐姐,爱了,爱了~

想把这些小姐姐的自拍视频全部打包带回家~

网站是动态数据加载的,再开发者工具里面可以找到相关的数据包

有昵称、标题、封面以及视频地址,复制视频地址会自动下载,所以只需要模拟请求这个也就可以获取相对应的数据了

import requestsimport pprinturl = 'https://v.6.cn/minivideo/getMiniVideoList.phpact=recommend&page=1&pagesize=30'headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'}response = requests.get(url=url, headers=headers)html_data = response.json()pprint.pprint(html_data)

返回的是json数据,所以我们可以根据字典取值的方法获取视频地址~

pprint 格式化输入模块,这样的会让返回的数据看的清楚。

解析数据,获取视频地址以及标题 lis = html_data['content']['list'] for li in lis: title = li['title'] play_url = li['playurl'] print(title, play_url)

获取视频地址之后,可以请求视频地址,进行保存

response_2 = requests.get(url=play_url) path = 'D:\python\demo\六间房视频\视频\' + title + '.mp4' with open(path, mode='wb') as f: f.write(response_2.content) print(title)

保存下来的视频是可以播放的,但是这个只是一页的数据,对于这丢丢视频,小编是肯定不满足的~

那怎么实现翻页爬取呢,这就要分析数据接口的url变化了

六间房这个网站的数据加载是瀑流的数据加载方式,和平常我们看到的那点击下一页就跳转的不一样,它是需要你往下滑,然后就会给你出现数据

可以清楚的看到page的变化是对应的是页码

所以我们只需要在url前面给他循环遍历一下就可以了,达到翻页的效果了

完整代码 import requestsimport pprintfor page in range(1, 11): url = 'https://v.6.cn/minivideo/getMiniVideoList.phpact=recommend&page={}&pagesize=30'.format(page) headers = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'} response = requests.get(url=url, headers=headers) html_data = response.json() lis = html_data['content']['list'] for li in lis: title = li['title'] play_url = li['playurl'] response_2 = requests.get(url=play_url) path = 'D:\python\demo\六间房视频\视频\' + title + '.mp4' with open(path, mode='wb') as f: f.write(response_2.content) print(title) 10759789

腾讯云618活动:点此领取】8888元代金券,附云服务器价格表,2核2G4M轻量应用服务器99元1年,新老用户都可以买,可以享受1次续费99元一年、135元15个月、三年560元,MySQL云数据库59元1年起,2核2G3M配置82元1年,2核4G5M配置188元一年、3年900元,4核8G12M轻量服务器880元15个月,8核16G配置1890元15个月,更多16核32G28M带宽和云服务器CVM标准型S5、GPU服务器、CVM标准型SA2租用优惠价格如下,可以 点此进入最新活动页 查看当前最新的优惠券和活动信息。 腾讯云首购便宜续费贵,点击前往 【爆品专区】选择3年/5年,免得续费贵;首购便宜升级贵,建议 点击 选择8核16G/16核32G配置高的服务器。 阿里云618活动:点击领取】5亿上云补贴和2088元满减代金券,阿里云服务器租用费用618活动最新价格表【点击了解】,最便宜轻量应用服务器2核2G3M带宽82元1年,ECS云服务器2核2G3M带宽99元一年,ECS u1实例2核4G5M带宽优惠价格199元一年,香港30M带宽轻量服务器24元1个月、288元一年,4核8G服务器706元一年,ECS云服务器4核16G10M带宽30元1个月、90元3个月,云服务器8核32G10M带宽109元1个月、327元3个月。 腾讯云老用户享新人优惠的方法:用Qq登录、1人可注册3个新账号/用家人朋友的身份注册新号(点击注册新账号)。
小咸鱼

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: