前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,
用来解决简单的贴吧下载,绩点运算自然不在话下。
不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。
于是乎,爬虫框架Scrapy就这样出场了!
Scrapy = Scrach+Python,Scrach这个单词是抓取的意思,
暂且可以叫它:小抓抓吧。
小抓抓的官网地址:点我点我。
那么下面来简单的演示一下小抓抓Scrapy的安装流程。
具体流程参照:官网教程
友情提醒:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。
1.安装Python(建议32位)
建议安装Python2.7.x,3.x貌似还不支持。
安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。
在cmd中输入python如果出现版本信息说明配置完毕。
2.安装lxml
lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击这里选择对应的Python版本安装。
3.安装setuptools
用来安装egg文件,点击这里下载python2.7的对应版本的setuptools。
4.安装zope.interface
可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。
5.安装Twisted
Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。
6.安装pyOpenSSL
pyOpenSSL是Python的OpenSSL接口,点击这里下载。
7.安装win32py
提供win32api,点击这里下载
8.安装Scrapy
终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。
直接在cmd中输入easy_install scrapy回车即可。
9.检查安装
打开一个cmd窗口,在任意位置执行scrapy命令,得到下列页面,表示环境配置成功。
订阅:
博文评论 (Atom)
Also Read:
-
Vernee是由中国深圳新英国网络技术有限公司生产的手机品牌。 该品牌成立于2016年2月,标志着New Bund从OEM/ODM转移到公共市场的第一步。 Vernee手机使用Android操作系统。 该公司的定价政策使他们能够将中型硬件放在低端价格上,并附有Android OS...
-
We all want to create the best content possible, but with more than a BILLION active websites and blogs on the internet today… it’s getti...
-
Content URL http://download.cnet.com/Leawo-Video-Converter/3000-2194_4-209074.html http://sfree.ru/Konvertoryi/leawo-video-converter-ultim...
-
Other Possible ways to Fix iPad not Connecting to App Store If you are not too keen to use a third-party software on your iOS device then yo...
-
这 12 个可行的 SEO 技巧将有助于在 2022 年获得更多自然流量: 专注于用户体验 加载速度 使用内部链接 专注于基于实体的 SEO 每段写作 详细解释 将博客文章重新创建为视频 加入 Google 探索 discover 更新现有内容 优化语音搜索的内容 使用长尾关键...
-
无论是在八字,还是 面相学 中,看一个人的未来潜能,最重要的就是聚气。 一个人的八字 五行属性 偏向于某一方,这个人的命运就有重点。瞄准某一点发力,自然比较容易出成果。 一个人的五官同样遵循这个原则。观一个人的神色气势,大于抠某个细节是否符合标准。 普通人通过医美堆砌出来的皮相...
-
问题详情 HTTPS 页面链接到您网站上的 HTTP 页面。 如果您网站上的内部链接将人们带到 HTTP URL,现代浏览器将显示有关不安全页面的警告。 这可能会损害您的整体网站权限和用户体验。 怎么修 检查此报告中的“内部链接”列以获取带有 http:// 的 URL。 编辑...
-
控制欲望 这一关是大多数人无法克服的一关,尤其是在我们最穷的时候,因为我们需要还债,还需要补贴家用,甚至工资拿到手还需要改善下自己的生活,有时候单身还想解决一下生理需要,就玩陌陌啊或者更直接点的悦技花钱找异性,尤其悦技很多还直奔主题见面的,谈恋爱钱是省了,但是容易经常依赖的找,自...
-
1、心理学 必读书单: 《心理学与生活》、《 这才是心理学 》、《乌合之众》、 《 改变心理学的40项研究 》、《进化心理学》、《社会心理学》。 在这6本书里,如果是从未接触过心理学的朋友,可以先从 《 心理学与生活》 读起,这本书的特点是很泛、易懂,但都没有深入。 另外, ...
-
中国有66 2238个村。 截止2021年查询,全国共有691510个行政村,261.7万个自然村。自然村的规模大小悬殊,最大的村在河南省兰考县,有2720户,12337人,而湖北省江陵县平均每个自然村只有8户,33人。(该数据为2017统计)截止2021年查询,全国县级以上...
Do you need to increase your credit score?
回复删除Do you intend to upgrade your school grade?
Do you want to hack your cheating spouse Email, whatsapp, Facebook, instagram or any social network?
Do you need any information concerning any database.
Do you need to retrieve deleted files?
Do you need to clear your criminal records or DMV?
Do you want to remove any site or link from any blog?
you should contact this hacker, he is reliable and good at the hack jobs..
contact : cybergoldenhacker at gmail dot com
I can’t say much but with my experience through divorce, I had no one until I met hackingsetting50@gmail.com online then I contacted him, surprisingly he helped me hack into my partner's phone and all his social media platforms and i can now access everything and even documented and printed stuffs to show as evidence , now I’m happy with my kids and working for Riches. I hope this helps anyone in need.
回复删除Thanks.