您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
python爬虫怎么做？
爬虫,数据,图片python爬虫怎么做？
发布时间：2016-12-08加入收藏来源：互联网点击：
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
爬虫讲的简单一点，就是通过一个程序去网络上抓取所需要的资源。
这些资源包括：html、json、xml等等不同的格式。然后再把这些资源转换成可存储，可用，可分析或者有价值的数据。
想要学习爬虫python的话首先你要懂得最基本的编程语言使用、网络基本知识以及HTML文档、css。
只是入门的话
网络这块只需要懂得HTTP协议，懂得使用工具来抓包。要熟悉json格式数据。
HTML和CSS需要有个了解，知道常用标签。
python需要你学完基础部分。比如：
变量数据类型循环判断迭代器函数面向对象常用包的使用爬虫的话推荐使用：
requestslxmlBeautifulSouprequests 就是一个网络请求库，用来获取网络上的资源。
lxml 是一个HTML文档解析器。主要用来分析html文档。
BeautifulSoup 是一个很好用的工具，它可以很方便的通过一些方法或者属性来对各种文档来进行分析。
下面是一个很入门的爬虫案例：
前几天刚写的抓取网易新闻，总共也就几个函数。
主要包括：
分析url分析页面获取新闻保存新闻
写完这个案例之后又总结了一下 BeautifulSoup 的使用。感兴趣的可以来看看。
有问题欢迎评论指出哦！
回答于 2019-09-11 08:43:50
答案：很明显，用手和大脑做。[狗头]
上面抖了个机灵，下面会详细回答，告诉你当前主流python爬虫应该怎么做。
爬虫是啥
先给不懂的小朋友简单科普下，爬虫是啥，毕竟看到这个问题的小伙伴不一定懂什么是爬虫。
爬虫本身其实很复杂，高端的有百度的“蜘蛛”，需要非常恐怖的代码量，算法。低端的只要几行代码就能够搞定。
这边举一个不是很严谨的例子，不过应该能够帮助各位小伙伴了解什么是爬虫。
举个例子：
批量下载！我们平时网上看到一张好看的图，我们会右键点击保存下来，如果看到非常多好看的图，我们需要经过大量重复操作。
但是使用爬虫，就很方便，定义好规则，就能够批量给你下载下来。
最关键的是，很多不允许你保存和下载的图片，爬虫也能够抓取，下载下来，这就是爬虫厉害的地方。
专业的事情，交给专业的人，同样，爬取，抓取这种事情，就交给爬虫去做。
爬虫怎么做
爬虫要怎么做呢？我注意到你问的是Python爬虫怎么做。
很简单，你可以学一下python，如果你不想学，那也可以。
这边有100个案例python 的爬虫案例，代码都写好了，你只要替换一些东，就可以了。
私信w3cschool回复“python”就可以获得下面100多个源码。
当然，这边小编还是建议一下各位小伙伴学习一下python，毕竟python目前是公认的最简单的编程语言，甚至没有之一。
而且python的强大还在于数据分析，大数据，人工智能等领域。
仔细想想，你爬取到知乎一大堆大V的数据，然后用python做数据分析，就能够得到非常多有用的信息，这是一件多么棒的事情。
目前w3cschool有在头条号的付费专栏里面，上传python的入门视频教程，各位小伙伴如果有兴趣，可以去试学~
回答于 2019-09-11 08:43:50
Python，可以帮忙抢票，可以爬虫东西，关于Python爬虫怎么做？今天教大家一个案例，python爬虫多线程实战：爬取美桌1080p壁纸图片 | 技术
技术点分析
· 爬虫requests
· 多线程threading
· 文件io读写操作
· xpath 提取ur
· 正则
实战
· 分析url
搞清楚各个url 的关联win4000.com/wallpaper_205_0_10_1.html
URL中与分类的关系：
wallpaper : 桌面壁纸
205 ：壁纸分类对应大陆明星
10 ：图片尺寸对应1920*1080
分析到这一部，我们知道 ，如果要需要其他类型的壁纸，只需要更改网站分类代码就可以了。
· 谷歌 charme ，通过右键检查
chrame 浏览器右键提示。
按图顺序，依次找到对应的html标签。
通过查看，我们发现 中间展示 的图片是由一个ul 标签包裹的 多个Li
我们所要跳转的链接 就在 Li 标签中， 这时就需要使用xpath进行数据的提取。
到此，我们第一层url 的分析就完成了。可以写出以下代码段。
此时通过xpath 获到当前页面中的 ul 中所有li 标签了。
那单个明星的跳转链接只需要再次xpath 进行提取就Ok了。
完成到这里你的代码运行结果应该如下：是两个列表list。
运行结果
准备下载图片
到这，完成第一步，你已经成功获到 每个明星的跳转链接 ：
url: win4000.com/wallpaper_detail_153895.html
再次进行url 的分析：
初步分析
通过上图的分析，可以找到这张图，是我们要 1080规格的。但很可惜，一共9张，现在只能找到一张图片的url。
选其中两张图片地址对比：
pic1.win4000.com/wallpaper/2018-12-26/5c22eb195abe8.jpg
pic1.win4000.com/wallpaper/2018-12-26/5c22eb1c722dc.jpg
好像就是后面文件名不同。如果一张张取是不是很麻烦？
不信你自己去试一下。点再分析一下页面，有个 【查看原图】 选项，点一下试试呢？
上一篇：根管治疗的费用是多少？
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |