scrapy安装步骤

发表于   |   分类于 ，   |  

scrapy
scrapy是Python中一款相当知名的爬虫框架，spiders，downloader，pipline各部分组件分工明确，上手简单，使用了一段时间，虽然还有很多高级组件还接触过，但已经臣服于它的简洁优雅。本文主要介绍安装步骤（基于64位的windows10系统）。

方法一

此方式比较官方，按部就班，用什么装什么。

  1. 安装官方python编译器

    python官网：https://www.python.org/downloads/windows/

    装完后可在cmd中敲入python测试

  2. 安装c++相关库

    exe格式，双击安装，百度搜索：Microsoft Visual C++ Compiler for Python 2.7

  3. 安装lxml

    在http://www.lfd.uci.edu/~gohlke/pythonlibs/ 中，搜索[lxml]，找到[Lxml, a binding for the libxml2 and libxslt libraries]，在这一行下面找合适的lxml版本文件。如我需要在64位系统，2.7的python环境下装lxml，则选择第二个。
    lxml
    下载完后后，进到whl文件所在目录，在cmd中用pip安装：

    pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl

  4. 安装win32api

    exe格式，双击安装即可 https://sourceforge.net/projects/pywin32/files/pywin32/

  5. pip安装scrapy

    pip install scrapy

    pyOpenSSL,zope.interface等相关组件会自动安装。既然如此，为什么不直接运行pip install scrapy呢？因为有些组件基于c++的库，需要提前安装，而且lxml使用pip安装会失败！

  6. 安装mysqldb（非必需，不使用mysql，可以不装）

    直接使用pip安装会提示类似如下错误

    error: command '"C:\Users\qwf\AppData\Local\Programs\Common\Microsoft\Visual C++ for Python\9.0\VC\Bin\cl.exe"' failed with exit status 2

    可以参考这篇文章的方法解决 http://www.crifan.com/python_install_module_mysql_mysqldb/
    或者概括为一句话，使用这个个人编译版本双击安装即可：
    http://arquivos.victorjabur.com/python/modules/MySQL-python-1.2.3.win32-py2.7.exe

  7. 测试
    cmd中运行如下命令，测试scrapy是否可正常使用

    scrapy bench

方法二（推荐）

此方法比较省事，一键帮你装好很多相关组件，省去很多麻烦

  1. 安装anaconda
    anaconda
    anaconda官网：https://www.continuum.io/downloads
    ananconda是一款为科学计算而做的python开发包，集成了很多计算相关的库，矩阵计算，绘图相关，机器学习相关等等（其中也包括了lxml，win32api），所以体积略大。python官方解释器19M左右，而anaconda接近400M。

  2. pip安装scrapy 同（一）

    pip install scrapy

  3. 安装mysqldb 同（一）
    http://arquivos.victorjabur.com/python/modules/MySQL-python-1.2.3.win32-py2.7.exe
    ​

------ 本文结束 ------