您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
python学习爬虫，不会前端和全栈可以吗？为何？
爬虫,数据,知识python学习爬虫，不会前端和全栈可以吗？为何？
发布时间：2016-12-08加入收藏来源：互联网点击：
python学习爬虫，不会前端和全栈可以吗？为何？
回答于 2019-09-11 08:43:50
回答于 2019-09-11 08:43:50
我认为是需要学习的，做爬虫除了需要了解 python 自身的基础，还需要了解 HTTP 的基础知识，对全栈的了解是跑不了的。我们从静态页面的抓取到动态生成内容的抓取，web 前端全家桶（尤其是 DOM）也是需要的。此外需不需进一步控制浏览器呢，selenium，CDP (Chrome Devtools Protocol) 各路神仙一招呼，这些更是 web 前端和 HTTP 和网络的深度结合。
回答于 2019-09-11 08:43:50
你好，Python爬虫与前端后端都有一定的知识相关。但是不必专门去学习这方面内容。
Python爬虫可以直接通过读两本相关书籍就开始上手了。
一般爬虫会涉及到，数据采集，数据清洗，数据存储，数据展示等。
如果说涉及前端部分的内容就是数据展示部分。将你爬去的数据进行展示在网页中让人直观的看，但是在Python中会有相同的库作为替换，所以你可以不用学习前端知识也能完成这个目的。
如果说涉及后端部分的内容就是数据的存储，把你当爬虫数据存储到数据库中。这一步，你也可以有替代方案，把数据存储在txt文件中，excel文件中都是可以的。这样你就不用花费时间专研数据库等后端知识。
最后，数据采集部分，会涉及一些网络知识，但是由于现在的Python第三方库已经很成熟，你很多只要查看文档理解如何用即可，初期不用探究底层原理。也能够完成你的数据采集工作。
数据清洗，就是通过Python变成语言来进行操作，找到你需要的内容，这部分就是主要你来完成和学习的编程内容了。
回答于 2019-09-11 08:43:50
如果你想深入学习爬虫，那你肯定绕不过前端的知识，html+css+javascript更是其中的基础知识了。
不过话说回来，你如果仅仅是想学习爬虫拿来用，也不一定要系统地去学这些东西。有个名词叫“学以致用”，你可以直接通过搜索“python爬虫入门”，你就可以短时间学会简单的爬虫了。
但是长远来说，你现在学会的这点小技巧，你是没有办法更灵活地使用爬虫来满足自己的需求的。
爬虫
爬虫爬的究竟是什么？通俗地说就是用编程的方式，让计算机代替我们收集数据，其中爬的便是我们想要得到的公开数据。
一般来说，只要是通过浏览器看到的信息都是可爬的，但是这其中会涉及到一些技术和法律上的问题。
比如技术上，你想爬虫，平台会有反爬手段，如果判定你频繁爬取信息，那你通过此IP将无法正常访问信息。其中的IP、浏览器头信息、referer等技术手段，用得好的话都可以让无虫可爬。
法律上，如果你爬取非公开数据，或者你高频爬取导致平台服务出现问题的，你很可能要到某个地方呆上一段时间。这个其实也可以理解，人家辛苦呈现的数据，被你反手一爬就爬完了，平台不是很冤吗？
所以爬虫有风险，下手需谨慎。
前端
前端是现在互联网内容服务中不可或缺的一员，它担当了直接与用户交互的所有内容。
一般来说，IT开发主要分为两个端，一个是前端，另一个则是后端了。
后端负责业务逻辑，前端负责页面交互。
由于爬虫主要是爬取显示出来的东西，所以要学习的内容更多是前端这一块，比如页面是由什么组成？页面是怎么交互的？数据是从哪个接口取的？
入门爬虫
如果是选择用python爬虫，那么scrapy框架将非常适合。
这个框架可以让你快速学会怎么爬虫，并且也很容易扩展功能来满足其它的需求。
回答于 2019-09-11 08:43:50
python语言比较容易上手，有编程基础知识就可以了，要相信自己 努力下是可以的 加油
回答于 2019-09-11 08:43:50
首先要明确一点，python只不过是一个工具，学会了使用工具不代表你就能找到工作，要有用工具处理问题的能力才符合工作需求！就像爬虫工程师，java也能实现，想要靠你学的python找到工作，实践经验才是加分项！
回到问题，针对python的面试一般会涉及到下面几个部分：
一、python基础知识
爬虫给人的感觉就是对于Python编程的知识要求并不高，确实，搞懂基本数据结构、语句，会写写函数好 像就OK了。
自己业余玩玩还OK，如果你要找工作成功爬虫工程师，扎实的编程基础是必不可少的。除了基本的函数，Python的高级特性、面向对象编程、多线程、装饰器都要熟悉。
现在很多爬虫工程师的面试，对编程的基本功要求很高。编程的功底，以及对语言的理解，从某种程度上可以看出你的学习能力、发展潜力。 比如： Python2.x与Python3.x的区别 Python的装饰器 Python的异步 Python的一些常用内置库、多线程......
二、数据结构与算法
上一篇：读高中的女儿除了上课就玩手机，没兴趣点，不爱说话，怎么办？
下一篇：返回列表
相关链接 |
||
| 网友回复（共有 0 条回复） |