Python爬虫基础讲解(二十三):scrapy框架简介

2021年6月19日 17点热度 0条评论 来源: 松鼠爱出饼干

Python爬虫、数据分析、网站开发等案例教程视频免费在线观看

https://space.bilibili.com/523606542 

 

Python学习交流群:1039649593

 

scrapy是一个使用Python语言(基于Twisted框架)编写的开源网络爬虫框架,目前由
scrapinghub Ltd维护。Scrapy简单易用、灵活易拓展、开发社区活跃,并且是跨平台的。在Linux、MaxOS以及windows平台都可以使用。

 

网络爬虫

网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据。

一个网络爬虫程序的基本执行流程可以总结三个过程:请求数据,解析数据,保存数据

数据请求

请求的数据除了普通的HTML之外,还有json数据、字符串数据、图片、视频、音频等。

解析数据

当一个数据下载完成后,对数据中的内容进行分析,并提取出需要的数据,提取到的数据可以以多种形式保存起来,数据的格式有非常多种,常见的有csv、json、pickle等

保存数据

最后将数据以某种格式(CSV、JSON)写入文件中,或存储到数据库(MySQL、MongoDB)中。同时保存为一种或者多种。

通常,我们想要获取的数据并不只在一个页面中,而是分布在多个页面中,这些页面彼此联系,一个页面中可能包含一个或多个到其他页面的链接,提取完当前页面中的数据后,还要把页面中的某些链接也提取出来,然后对链接页面进行爬取(循环1-3步骤)。

设计爬虫程序时,还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略(深度优先或广度优先等)、爬虫访问边界限定等一系列问题。

从头开发一个爬虫程序是一项烦琐的工作,为了避免因制造轮子而消耗大量时间,在实际应用中我们可以选择使用一些优秀的爬虫框架,使用框架可以降低开发成本,提高程序质量,让我们能够专注于业务逻辑(爬取有价值的数据)。接下来,就带你学习目前非常流行的开源爬虫框架Scrapy。

scrapy安装

scrapy官网:https://scrapy.org/
scrapy中文文档:https://www.osgeo.cn/scrapy/intro/overview.html

安装方式

在任意操作系统下,可以使用pip安装Scrapy,例如:

pip install scrapy

 

安装完成后我们需要测试安装是否成功,通过如下步骤确认:

在终端中测试能否执行scrapy这条命令

scrapy 2.4.0 - no active project

usage:
    scrapy <command>[options] [args]

Available commands :
    bench        Run quick benchmark test
    fetch        Fetch a URL using the scrapy down1oader
    genspider        Generate new spider using pre-defined temp1ates
    runspider        Run a self-contained spider (without creating a project)
    settings        Get settings values
    she11        Interactive scraping console
    startproject        create new project
    version        Print scrapy version
    view        open URL in browser,as seen by scrapy

    [ more ]        More commands available when run from project directory

use "scrapy <command> -h" to see more info about a command

 

输入scrapy bench测试连通性,如果出现以下情况表示安装成功:

 

 

 

通过了以上两项检测,说明Scrapy安装成功了。如上所示,我们安装的是当前最新版本2.4.0。

注意:
在安装Scrapy的过程中可能会遇到缺少VC++等错误,可以安装缺失模块的离线包

 

 

成功安装后,在CMD下运行scrapy出现上图不算真正成功,检测真正是否成功使用scrapybench测试,如果没有提示错误,就代表成功安装。

全局命令

scrapy 2.4.0 - no active project

usage:
  scrapy <command>[options] [args]

Available commands :
  bench      Run quick benchmark test #测试电脑性能
  fetch      Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来
  genspider      Generate new spider using pre-defined temp1ates#创建一个新的spider文件
  runspider      Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同,scrapy runspider爬虫文件名称
  settings      Get settings values#获取当前的配置信息
  she11      Interactive scraping console#进入scrapy 的交互模式
  startproject      create new project#创建爬虫项目
  version      Print scrapy version#显示scrapy框架的版本
  view      open URL in browser,as seen by scrapy#将网页document内容下载下来,并且在浏览器显示出来

  [ more ]      More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command

 

项目命令

    • scrapy startproject projectname
      创建一个项目

    • scrapy genspider spidername domain
      创建爬虫。创建好爬虫项目以后,还需要创建爬虫。

    • scrapy crawl spidername
      运行爬虫。注意该命令运行时所在的目录。

    原文作者:松鼠爱出饼干
    原文地址: https://www.cnblogs.com/qshhl/p/14893597.html
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系管理员进行删除。