在Ubuntu 12.04中配置分布式爬虫框架——Cola

企鹅博客
企鹅博客
企鹅博客
25193
文章
0
评论
2019年9月30日01:24:02 评论 214 views
广告也精彩

Cola是一个用Python编写的分布式爬虫框架,其目的是为了方便分布式的部署,目前虽仍有很多不完善的地方,但仍然值得对其进行一番探索。本文将对Cola的运行环境配置进行一番较为详细的介绍。在配置之前,请保证系统已经有正常的编译工具(gcc, make, autoconf, etc.)。另外,可能需要先安装python-dev:

sudo apt-get install python-dev

1 安装MongoDB
Cola所采用的数据库为文档型数据库MongoDB,因此首先需要配置MongoDB,这里给出一种较为方便的部署方法。

MongoDB是由10gen公司来负责维护开发的。首先给apt包管理添加10gen资源库:

sudo apt-key adv --keyserver keyserver.Ubuntu.com --recv 7F0CEB10

echo 'deb http://downloads-distro.mongodb.org/repo/ubuntu-upstart dist 10gen' | sudo tee /etc/apt/sources.list.d/10gen.list

sudo apt-get update

经过以上几步之后,就可以安装最新稳定版本的MongoDB:

sudo apt-get install mongodb-10gen

安装完毕后,会自动启动MongoDB服务。

2 安装PIP
PIP是一个Python的包管理工具。因为Cola依赖很多的Python库,为了方便后期的安装,我们需要先配置好PIP。PIP本身依赖于setuptools,因此在安装PIP前,需要先安装setuptools,具体的方法如下:

wget https://bitbucket.org/pypa/setuptools/raw/0.7.5/ez_setup.py -O - | sudo python
sudo apt-get install curl 

curl -O https://raw.github.com/pypa/pip/master/contrib/get-pip.py 

sudo python get-pip.py

3 配置Cola所依赖的库
sudo apt-get install libyaml-dev 

sudo pip install pyyaml 

sudo pip install mechanize 

sudo pip install python-dateutil 

sudo pip install BeautifulSoup4 

sudo pip install mongoengine 

sudo easy_install rsa 

git clone https://github.com/chineking/cola.git

企鹅博客
  • 本文由 发表于 2019年9月30日01:24:02
  • 转载请务必保留本文链接:https://www.qieseo.com/158661.html
关于制作U盘安装网众Linux系统 linux服务器应用

关于制作U盘安装网众Linux系统

用U盘作为引导盘能够省去刻录光盘的繁琐事情,而且当您需要对启动文档改变,比如往启动文档initrd.img中加入驱动以识别新硬件的时候,需要经常试验很多次才能成功假如每 次都去刻盘会很麻烦,所以我摸索...

发表评论