您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

你觉得可以用python爬虫做哪些有意思的事情？

视频,爬虫,地址你觉得可以用python爬虫做哪些有意思的事情？

发布时间：2020-12-06加入收藏来源：互联网点击：

你觉得可以用python爬虫做哪些有意思的事情？

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

当然是批量下载B站视频啦，主要分为2步，首先爬取视频url地址，然后根据url地址下载视频，下面我简单介绍一下实现过程，实验环境win10+python3.6+pycharm5.0，主要内容如下：

这里为了更好的说明实验过程，以爬取B站的TED演讲为例，如下：

1.首先，爬取视频的url地址信息，B站视频的信息是动态加载的，存储在一个json文件中，所以需要进行抓包分析，按F12调出开发者，F5刷新页面，查看所有抓包信息，如下，可以看到json格式加载的视频信息：

2.接着就是获取上面的json文件，解析这个json文件，提取到我们所需要的视频信息，这里主要是获取到url地址信息，代码如下，主要用到requests和json这2个模块，其中requests用于获取json文件，json用于解析json文件：

运行程序，效果如下，已经成功获取到视频信息：

3.最后就是根据视频url地址批量下载视频了，这里主要用到you-get这个模块，安装的话，直接在cmd窗口输入命令“pip install you-get”就行，基本使用方式“you-get 视频URL地址 -o 视频存放目录”，这里我们直接使用os.system执行这个命令就行，主要代码如下，非常简单：

运行程序，截图如下，已经开始下载视频：

接着打开对应的视频存放目录，就可以看到正在下载的文件，如下：

至此，我们就完成了利用python爬取并批量下载B站视频。总的来说，整个过程非常简单，就是步骤有些繁琐，只要你有一定的python爬虫基础，熟悉一下上面代码，多调试几遍程序，很快就能掌握的，网上也有相关教程和资料，非常丰富详细，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言。

回答于 2019-09-11 08:43:50

要说最有意思的事情啊，我觉得应该是爬取各个网站的好看的妹子图片，或者是动漫壁纸的图片了，当然这并不是用来干什么坏事，主要是通过兴趣的方式来促使自己不断的学习，将学习这个枯燥的事情变成让自己觉得有意思的事情

另外就是能够在工作中实现自己的价值，我们都知道在日常的工作中，有很多地方都需要用到爬虫爬取数据的，可能因为下载导数据要浪费很多时间，而你一个爬虫就可以爬取出来数据，也不用去下载点击等操作，大家也会不断的慢慢认可你的价值的。