。
。
。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更常常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
其余一些不常利用的名字还有蚂蚁、自动索引、仿照程序或者蠕虫。

Scrapy，Python开拓的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取构造化的数据。
Scrapy用场广泛，可以用于数据挖掘、监测和自动化测试。

Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修正。
它也供应了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又供应了web2.0爬虫的支持。

Scrap，是碎片的意思，这个Python的爬虫框架叫Scrapy。

如果你是一位在校大学生，对大数据感兴趣，也知道利用的企业越来越多，市场需求更这天月牙异，但苦于自己根本不足，心有余而力不敷;也看过不少大数据方面的书本、博客、视频等，但觉得进步不大;如果你是一位在职职员，但目前紧张利用传统技能，虽然对大数据很有兴趣，也深知其对未来的影响，但因韶光不足，虽有一定的根本，常常也是打两天鱼、晒三天网，进展不是很空想。

如果你有上述迷惑或碰着相似问题，《自己动手做大数据系统》正好比较适宜你。
《自己动手做大数据系统》从OpenStack云平台搭建、软件支配、需求开拓实现到结果展示，以纵向角度讲解了生产性大数据项目上线的全体流程;以完成一个实际项目需求贯穿各章节，讲述了Hadoop生态圈中互联网爬虫技能、Sqoop、Hive、HBase组件协同事情流程，并展示了Spark打算框架、R制图软件和SparkRHive组件的利用方法。
《自己动手做大数据系统》的一大特色是供应了实际操作环境，用户可以在线登录云平台来动手操作书中的数据和代码。

。
。
。

当你准备启动一个项目时，可以从这个教程开始

折叠选择网站

选择一个网站

如果你须要从某个网站提取一些信息，但是网站不供应API或者其他可编程的访问机制，那么小刮刮可以帮助你(提取信息)

让我们看下Mininova网站，须要提取的网址，名称，描述和torrent文件的大小、添加日期

下面这个列表是所有本日新增的torrents文件的页面:参考扩展阅读1

备注:torrent是年夜水的意思，这里指bit torrent，比特年夜水，便是我们常说的BT文件

折叠定义数据

定义你要抓取的数据

第一件事情便是定义你要抓取的数据，在小刮刮这个是通过定义Scrapy Items来实现的(本例是BT文件)

这便是要定义的Item

折叠撰写蜘蛛

撰写一个蜘蛛来抓取数据

下一步是写一个指定起始网址的蜘蛛(参考扩展阅读1)，包含follow链接规则和数据提取规则

如果你看一眼页面内容，就会创造所有的torrent网址都是类似:参考扩展阅读2的样子，个中Number是一个整数，我们将用正则表达式，例如/tor/\d+.来提取规则

我们将利用Xpath，从页面的HTML Source里面选取要要抽取的数据，选取浩瀚数据页面中的一个，例如参考阅读3

根据页面HTML 源码，建立XPath，选取:torrent name， description ， size，这些数据

通过带可以看到

<h1>Home[2009][Eng]XviD-ovd</h1>

name属性包含在H1 标签内，利用 XPath expression提取:

//h1/text()

description在id=\公众description\"大众的div中

<h2>Description:</h2> <div id=\"大众description\"大众> \"大众HOME\公众 - a documentary film by Yann Arthus-Bertrand <br/> <br/> <br/> <br/> \"大众We are living in exceptional times. Scientists tell us that we have 10 years to change the way we live， avert the depletion of natural resources and the catastrophic evolution of the Earth's climate. ...

XPath提取

//div[@id='description']

size属性在第二个<p>tag，id=specifications的div内

<div id=\公众specifications\公众> <p> <strong>Category:</strong> <a href=\公众/cat/4\公众>Movies</a> &gt; <a href=\"大众/sub/35\"大众>Documentary</a> </p> <p> <strong>Total size:</strong> 699.79&nbsp;megabyte</p>

XPath expression提取

//div[@id='specifications']/p[2]/text()[2]

如果要理解更多的XPath 参考这里 XPath reference.

蜘蛛代码如下:

由于很大略的缘故原由，我们故意把主要的数据定义放在了上面(torrent数据定义)，

折叠运行蜘蛛

运行蜘蛛来抓取数据

末了，我们运行蜘蛛来爬取这个网站，输出为json格式scraped_data.json

scrapy crawl 参考阅读4 -o scraped_data.json -t json

这个利用了feed exports，来天生json格式，当然，你可以很大略的变动输出格式为csv，xml，或者存储在后端(ftp或者Amazon S3)

你也可以写一段item pipeline，把数据直接写入数据库，很大略

折叠Review数据

Review一下抓取的数据

查看一下数据:scraped_data.json，内容大致如下

[{\"大众url\公众: \"大众参考阅读2\"大众， \"大众name\公众: [\公众Home[2009][Eng]XviD-ovd\"大众]， \公众description\"大众: [\"大众HOME - a documentary film by ...\公众]， \"大众size\"大众: [\"大众699.69 megabyte\"大众]}， # ... other items ... ]

关注一下数据，你会创造，所有字段都是lists(除了url是直接赋值)，这是由于selectors返回的便是lists格式，如果你想存储单独数据或者在数据上增加一些阐明或者洗濯，可以利用Item Loaders

折叠更多

你也看到了如何利用小刮刮从一个网站提取和存储数据，但，这只是表象，实际上，小刮刮供应了许多强大的特性，让它更随意马虎和高效的抓取:

1>内建 selecting and extracting，支持从HTML，XML提取数据

2>内建Item Loaders，支持数据洗濯和过滤消毒，利用预定义的一个过滤器凑集，可以在所有蜘蛛间公用

3>内建多格式generating feed exports支持(JSON， CSV， XML)，可以在后端存储为多种办法(FTP， S3， local filesystem)

4>针对抓取工具，具有自动图像(或者任何其他媒体)下载automatically downloading images的管道线

5>支持扩展抓取extending Scrap，利用signals来自定义插入函数或者定义好的API(middlewares， extensions， and pipelines)

6>大范围的内建中间件和扩展，基于但不限于cookies and session handling

HTTP compression

HTTP authentication

HTTP cache

user-agent spoofing

robots.txt

crawl depth restriction

and more

7>强壮的编码支持和自动识别机制，可以处理多种国外的、非标准的、不完全的编码声明等等

8>可扩展的统计采集stats collection，针对数十个采集蜘蛛，在监控蜘蛛性能和识别断线断路?方面很有用处

9>一个可交互的XPaths脚本命令平台接口Interactive shell console，在调试撰写蜘蛛是上非常有用

10>一个别系做事级别的设计，可以在产品中非常随意马虎的支配和运行你的蜘蛛

11>内建的Web service，可以监视和掌握你的机器人

12>一个Telnet掌握台Telnet console，可以钩入一个Python的掌握台在你的抓取进程中，以便内视或者调试你的爬虫

13>支持基于Sitemap的网址创造的爬行抓取

14>具备缓存DNS和resolver(转发?冲突办理?)功能

。
。
。

人工智能是打算机科学的一个分支，它企图理解智能的本色，并生产出一种新的能以人类智能相似的办法做出反应的智能机器，该领域的研究包括机器人、措辞识别、图像识别、自然措辞处理和专家系统等。
人工智能从出身以来，理论和技能日益成熟，运用领域也不断扩大，可以设想，未来人工智能带来的科技产品，将会是人类聪慧的“容器”。

Python爬虫入门学习。
现在，Python可以做大数据的根本，人工智能的编程措辞等，是一门比较热门的措辞。
我也写了很多其他的非常大略的详细教程，欢迎大家一起来互换。

。
。
。

上面是所有的功能代码。
下面两行是调用实行。

记得实行的代码要左对齐。

实行时候，直接输入贴吧名字，比如：“李易峰”，然后输入 起始页 1，终止页 100，就可以开始实行了。

——————————————————————————————————————————————————

以上是全部代码，只是长于分享，不敷之处请包涵！

爬虫基本的事理便是，获取源码，进而获取网页内容。
一样平常来说，只要你给一个入口，通过剖析，可以找到无限个其他干系的你须要的资源，进而进行爬取。

我也写了很多其他的非常大略的入门级的爬虫详细教程，关注后，点击我的头像，就可以查看到。

——————————————————————————————

没有把多线程写出来，多线程只须要几行代码，会的人可以加进去，还有界面化，都很大略，我以前的文章都写过。
就当留给参考者一个练习的机会。
但是就算这样，Python和电脑本身也会创建几个线程。
当以为爬取的图片足够的时候，可以停息。

欢迎大家一起留言谈论和互换！