可掌握的核心能力：

　　1. 掌握各类HTTP调试器用法

　　2. 理解网络爬虫编写的基本套路

　　3. 了解网络爬虫编写的各种陷阱

　　4. 能够应对动态网站爬取

　　5. 能够应对带有验证码的网站

　　6. 能够应对需要浏览器渲染的网站

　　7. 能够应对分布式抓取需要

　　8. 能够应对反爬虫技术

　　9. 能够应对无界面抓取

　　10. 能够利用爬虫平台

 

　　学习的目的：

　　1、 让大家掌握现实中编写Python爬虫会遇到的方方面面的问题，让大家以后在实际爬虫工作中，不惧任何挑战。

 

　　可解决的现实问题及价值所在：

　　1. 掌握各类HTTP调试器用法

　　HTTP调试器是网络爬虫编写的基础。

 

　　2. 理解网络爬虫编写的基本套路

　　经过长期时间，爬虫编写其实已经形成了一些基本的套路，掌握这些套路不仅有助于大家快速编写爬虫程序，也有助于大家理解前人的代码。

　　这些套路也是一些爬虫框架所使用的架构基础。

 

　　3. 了解网络爬虫编写的各种坑

　　这些坑是实践中的经验，非理论。这些坑也是消耗程序员时间最多的地方，解决这些坑需要的很多技巧和经验，这些往往是初级程序员所欠缺的，但是老师会把这些都告诉大家。

 

　　4. 能够应对动态网站爬取

　　当前，越来越多的网站使用JS的动态技术加载某些内容，甚至无须使用动态方式生成的信息也因为某些原因使用动态的方式生成。而这些信息是我们继续爬取所需要的，这个时候，我们就需要解决这些动态性问题。

 

　　5. 能够应对带有验证码的网站

　　现在大部分信息检索网站都会使用验证码技术保护自己的信息，免遭大规模的抓取，验证码识别技术已经成为一个爬虫程序员必须掌握的基本功。

 

　　6. 能够应对需要浏览器渲染的网站

　　当前反爬虫技术花样繁多，有的网站如果不渲染出结果，只依靠网页文本，则无从获取到我们想要的信息，比如有的网站，我们所关注的信息是使用CSS拼接而来的，经过浏览器的渲染，人可以轻松看懂网页内容，但是对于传统的HTML爬虫而言，则无法获得自己想要的信息。

 

　　7. 能够应对分布式抓取需要

　　对于企业级的爬取需求来说，分布式爬取是一个基本要求，因为单一爬虫的爬取效率毕竟受到网络交互速度的限制，但是分布式爬虫，可以最大效率地利用网站服务器的服务能力，获取信息。

 

　　8. 能够应对反爬虫技术

　　由于各个企业都有外部数据需求，因而爬虫盛行。很多时候，网站的40%以上的流量是被爬虫占据的，在这种情况下，业内发展出了各式各样的反爬虫技术。应对这些反爬虫技术也是我们工作内容的一部分。

 

　　9. 能够应对无界面抓取

　　对于我们开发者来说，有些网页必须获取它被JavaScript和CSS渲染之后的结果。通常来讲我们可以使用浏览器驱动，来驱动Chrome等浏览器完成这项任务。但是对于大规模爬取任务来说，我们需要将我们的爬虫部署到Linux服务器上，带界面的Chrome浏览器并不是合适的选择，因为它非常消耗计算资源。所以我们会选择使用无界面的抓取方式对已经成熟的代码进行服务器端部署。

 

　　10. 能够利用爬虫平台

　　无论国内国外，都有很多的爬虫平台可以直接使用，有些甚至可以部署企业级爬虫，并根据需要购买计算能力和存储能力，甚至代理服务器ip也可以购买，同时有的平台提供可视化和报警服务，这些内容对于中小企业来说，并不是容易建立的资源环境，这时选择一个合适爬虫平台，将自己编写的爬虫托管到爬虫平台上不失为一个合理的选择。