Scrapy 教程

Scrapy 创建项目命令


安装完 scrapy 后,用命令创建 scrapy 项目,进入我们要创建项目的目录中,运行创建项目命令。

创建项目命令

创建命令如下:

scrapy startproject {project_name}

执行结果如下:

demo@Mac PycharmProjects $ scrapy startproject myproject
New Scrapy project 'myproject', using template directory '/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/scrapy/templates/project', created in:
    /Users/honey/PycharmProjects/myproject

You can start your first spider with:
    cd myproject
    scrapy genspider example example.com

项目目录

运行如上命令后,项目目录结构如下:

scrapy.cfg --------------------------> scrapy 部署配置文件
myproject/ --------------------------> 项目名称
    __init__.py
    items.py ------------------------> 选取哪些数据作为字段进行存储
    pipelines.py --------------------> 通过管道执行保存数据的操作
    middlewares.py ------------------> 项目的中间件
    settings.py ---------------------> 项目的设置文件
    spiders/ ------------------------> 放置具体 spider 代码的目录
        __init__.py
        spider1.py ------------------> 具体爬虫类1
        spider2.py ------------------> 具体爬虫类2
        ...