新書推薦:
《
易经今解:释疑·解惑·见微
》
售價:HK$
88.5
《
东欧史(全二册)-“中间地带”的困境
》
售價:HK$
221.8
《
虚拟资本:金融怎样挪用我们的未来
》
售價:HK$
77.3
《
刻意练习不生气
》
售價:HK$
39.2
《
大宋理财:青苗法与王安石的金融帝国(全彩插图本)
》
售價:HK$
109.8
《
安全感是内心长出的盔甲
》
售價:HK$
67.0
《
快人一步:系统性能提高之道
》
售價:HK$
110.9
《
我们为什么会做梦:让梦不再神秘的新科学
》
售價:HK$
77.3
|
內容簡介: |
网络爬虫是按照一定规则自动请求服务器上的网页,并采集网页数据的一种程序或脚本,它可以代替人进行数据采集,也可以自动采集网页数据、高效利用互联网数据,因此在市场应用中占据了重要位置。本书以Windows操作系统为主要开发平台,系统、全面地讲解了网络爬虫的相关知识。本书的主要内容包括保存服务器网页到本地、使用正则表达式提取网页内容、爬取豆瓣电影TOP250栏目、使用requests库爬取电影网站、通过模拟用户登录爬取网站、使用Scrapy框架爬取图片网站、使用分布式爬虫爬取腾讯招聘频道,主要知识点囊括网络爬虫基础知识、网页请求原理、抓取静态网页数据、解析网页数据、抓取动态网页数据、网络爬虫的优化、数据的持久化存储、识别验证码、搭建网络爬虫框架、网络分布式爬虫Scrapy-Redis的开发和部署等。本书内容通俗易懂,案例丰富,实用性强,特别适合Python语言的基础学习者和进阶学习者,也适合Python程序员、爬虫工程师等编程爱好者。本书不仅可以作为高校教材,也可以作为相关培训机构的教材,还可以作为广大网络爬虫开发者的参考书。此外,本书开发了丰富的教学资源库,并免费提供所有素材。
|
關於作者: |
钱游,副教授,重庆市名师工作室学员,主要从事人工智能、数据挖掘研究。主持市级项目2项、校级在线课程1门。发表论文16篇,其中中文核心期刊论文3篇,教研教改论文5篇。编写教材5部,获国家级实用新型专利5项,软件著作权4项,软件开发社会服务项目近30项,荣获市级教学成果奖、全国嵌入式竞赛优秀指导老师奖、全国大学生电子设计竞赛(重庆赛区\TI杯”)一等奖等十余项奖项。
|
目錄:
|
目 录项目一 保存服务器网页到本地1任务1 认识网络爬虫2任务演示2知识准备21. 初步认识网络爬虫22. 网络爬虫的结构及其工作原理43. 爬虫技术的风险与Robots协议54. Python的安装65. Pygame的简单使用11任务实施12任务拓展131. 反爬虫的目的与手段132. Windows环境下的MongoDB数据库安装和配置143. Linux环境下的MongoDB数据库安装和配置16任务2 将请求到的网页保存到本地18任务演示18知识准备191. 使用urllib请求网页192. 安装和配置MySQL数据库20任务实施28任务拓展29小结30复习题31项目二 使用正则表达式提取网页内容32任务1 在网页上展示伟大抗疫精神33任务演示33知识准备331. HTML基础知识332. CSS基础知识353. CSS样式选择器38任务实施44任务拓展451. JavaScript的引入452. JavaScript的基本语法48任务2 使用正则表达式提取文本中的指定内容53任务演示53知识准备531. 正则表达式的基本语法542. 正则表达式的使用57任务实施61任务拓展62小结63复习题63项目三 爬取豆瓣电影TOP250栏目65任务1 使用urllib框架请求网页66任务演示66知识准备661. 网络爬虫开发的基本流程662. urllib框架的基本模块663. 字符的编码和解码74任务实施761. URL分析762. 编码规范773. 爬取豆瓣电影TOP250栏目77任务拓展81任务2 使用BeautifulSoup4解析网页82任务演示82知识准备821. BeautifulSoup4的四个对象822. 文档的遍历863. 文档的搜索91任务实施95任务拓展97任务3 使用XPath解析网页数据99任务演示99知识准备99任务实施105任务拓展106任务4 数据的持久化存储108任务演示108知识准备108任务实施116任务拓展118小结121复习题121项目四 使用requests库爬取电影网站123任务1 使用requests库请求网页124任务演示124知识准备1241. requests库的安装1242. GET请求1253. POST请求126任务实施129任务拓展131任务2 使用requests-html库解析网页136任务演示136知识准备1361. requests-html库的新功能1362. requests-html库的安装1363. requests-html库的使用137任务实施139任务拓展1421. 网络爬虫的优化1422. 将请求到的数据保存到MySQL数据库中145小结149复习题149项目五 通过模拟用户登录爬取网站151任务1 模拟用户登录152任务演示152知识准备1521. 使用ddddocr模块识别验证码1532. 使用在线平台进行打码153任务实施1601. 对古诗文网的登录验证码进行验证1602. 实现模拟用户登录163任务拓展1671. 携带Cookies请求网页1672. 古诗文网登录实现1693. 在登录成功后进行数据采集174任务2 使用Selenium模拟用户登录豆瓣网175任务演示175知识准备1761. 什么是Selenium1762. Selenium的安装176任务实施180任务拓展182小结184复习题185项目六 使用Scrapy框架爬取图片网站186任务1 Scrapy开发环境搭建187任务演示187知识准备1871. 常见的爬虫框架1872. Scrapy框架概述188任务实施189任务拓展196任务2 使用Scrapy框架爬取代理IP200任务演示200知识准备2001. XPath选择器2002. CSS选择器201任务实施202任务拓展210任务3 Scrapy数据的持久化存储211任务演示211知识准备2111. 基于终端命令存储2122. 基于管道存储212任务实施2141. 实现基于终端命令的数据持久化存储2142. 实现基于管道的数据持久化存储——使用文本存储数据2153. 实现基于管道的数据持久化存储—使用MySQL数据库存储数据2194. 实现基于管道的数据持久化存储——使用Redis数据库存储数据2215. 实现基于管道的数据持久化存储——使用MongoDB数据库存储数据224任务拓展227任务4 爬取图片网站230任务演示230知识准备230任务实施231任务拓展2351. 将爬取的图片名及其路径保存到MySQL数据库中2352. 使用Scrapy框架爬取图说历史栏目236小结239复习题239项目七 使用分布式爬虫爬取腾讯招聘频道241任务1 搭建Scrapy-Redis开发环境242任务演示242知识准备2421. 分布式爬虫的基本概念2422. 分布式环境的搭建2433. 在Ubuntu系统上安装Scrapy2474. 在CentOS 7系统上安装Scrapy249任务实施250任务拓展251任务2 开发分布式爬虫252任务演示252知识准备253任务实施2541. 创建Scrapy爬虫2542. 初始化配置2563. 网站结构分析2564. 爬虫的核心代码2615. 部署分布式爬虫266任务拓展2711. 随机请求头2712. 爬取视频273小结277复习题277
|
|