理由一： 网页更新 我们知道，一般网页中的信息是不断翻新的，所以我们就要定期的去抓取站点上的新信息，但是这个“定期”该怎么理解，也就是多长时间需

1、实现DNS缓冲 因为网站有日志，运维会定时查看这个 发现异常会封锁ip 实现dns缓存 就可以避免被发现异常访问

一、前言： 我们之前学习了requests的基本使用 本次我们将继续学习requests的使用技巧，包含自定义代理等头部信息、cookies的管

一、前言： 前面我们讲解了urillib3库的使用知识。 本次我们将通过最新最标准的官方文档来学习另一个python 中非常流行的网络请求模块Re

一、前言 urllib3是Python的一个强大的，健全的HTTP客户端。许多Python生态系统已经使用urllib3，urllib3带来了

一、前言： 我们在上一篇讲解了python中使用数据库时涉及到的一些概念和api的介绍。 本次我们将通过几个小的demo来实战演练python操

一、前言： 数据库的支持在软件开发中是必不可少的。 如果你使用纯文本文件来存储数据，这只能实现有限的功能。有些小伙伴可能不同意了，说文件存储更直

一、前言： 我们在之前学习了爬虫的页面下载以及演示了如何用lxml和xpath来抽取数据。 本篇我们主要学习目标是： 1、将数据抽取部的代码分抽取

一、前言： 现在到处都在说大数据，机器学习，深度学习。 然后数据是哪里来的呢？要么你是bat这类公司，手握大量数据，一般情况下，我们都是需要通过

一、前言： 我们在之前学习了robots.txt文件的读取及解析，站点技术的分析以及用简单的demo演示了网页的下载过程。 本篇我们将以爬取安居

一、前言： 我们之前学习了一些爬虫相关的知识点，还未涉及到爬虫的编写。 有些小伙伴可能知道scrapy这个爬虫框架，这是一个功能强大的爬虫架构，

一、前言： 刚开始写爬虫程序，如果爬取的站点规模比较小，此时往往我们不需要关注站点的规模，因为此时对我们的效率影响来说，多点少点都没关系，假设