Python3爬⾍、数据清洗与可视化实战PDF⾼清完整版免费下
载百度云盘
《Python 3爬⾍、数据清洗与可视化实战》共分11 章,6 个核⼼主题:其⼀是Python 基础⼊门,包括环境配置、基本操作、数据类型、语句和函数;其⼆是Python 爬⾍的构建,包括⽹页结构解析、爬⾍流程设计、代码优化、效率优化、容错处理、反防爬⾍、表单交互和模拟页⾯点击;其三是Python 数据库应⽤,包括MongoDB、MySQL 在Python中的连接与应⽤;其四是数据清洗和组织,包括NumPy 数组知识、pandas 数据的读写、分组变形、缺失值异常值处理、时序数据处理和正则表达式的使⽤;其五是综合应⽤案例,帮助读者贯穿爬⾍、数据清洗与组织的过程;最后是数据可视化,包括Matplotlib 和Pyecharts 两个库的使⽤,涉及饼图、柱形图、线图、
词云图、地图等图形,帮助读者进⼊可视化的殿堂。
《Python 3爬⾍、数据清洗与可视化实战》以实战为主,适合Python 初学者及⾼等院校的相关专业学⽣,也适合Python 培训机构作为实验教材使⽤。
作者简介
零⼀
initialized在c语言中是什么意思
沐垚科技创始⼈,电商⾃媒体,资深数据分析师,8年电商从业经验,擅长Excel、Power BI、R、Python等⼯具,主要研究数据化运营、商业智能和⼈⼯智能在电商领域的应⽤,专注数据+电商的新零售服务。 出版《电商数据分析淘宝实战》《美丽的电商运营⽇记》《Excel BI 之道:从零开始学Power⼯具应⽤》《淘宝、天猫电商数据分析与挖掘实战》
加python学习qq:775690737 送python零基础⼊门学习资料+99个源码
⽬录
第1 章 Python 基础 1
1.1 安装Python 环境 1
1.1.1 Python 3.6.2 安装与配置 1
1.1.2 使⽤IDE ⼯具——PyCharm 4
1.1.3 使⽤IDE ⼯具——Anaconda 4
1.2 Python 操作⼊门 6
1.2.1 编写第⼀个Python 代码 6
1.2.2 Python 基本操作 9
1.2.3 变量 10
1.3 Python 数据类型 10
1.3.1 数字 10
1.3.2 字符串 11
1.3.3 列表 13
1.3.4 元组 14
1.3.5 集合 15
1.3.6 字典 15
1.4 Python 语句与函数 16
1.4.1 条件语句 16
1.4.2 循环语句 16
1.4.3 函数 17
第2 章 写⼀个简单的爬⾍ 18
2.1 关于爬⾍的合法性 18
2.2 了解⽹页 20
2.2.1 认识⽹页结构 21
2.2.2 写⼀个简单的HTML 21
2.3 使⽤requests 库请求⽹站 23
2.3.1 安装requests 库 23
2.3.2 爬⾍的基本原理 25
2.3.3 使⽤GET ⽅式抓取数据 26
2.3.4 使⽤POST ⽅式抓取数据 27
2.4 使⽤Beautiful Soup 解析⽹页 30
2.5 清洗和组织数据 34
2.6 爬⾍攻防战 35
第3 章 ⽤API 爬取天⽓预报数据 38
3.1 注册免费API 和阅读技术⽂档 38
3.2 获取API 数据 40
3.3 存储数据到MongoDB 45
3.3.1 下载并安装MongoDB 45
3.3.2 在PyCharm 中安装Mongo Plugin 46
3.3.3 将数据存⼊MongoDB 49
3.4 MongoDB 数据库查询 52
第4 章 ⼤型爬⾍案例:抓取某电商⽹站的商品数据 55 4.1 观察页⾯特征和解析数据 55
4.2 ⼯作流程分析 64
4.3 构建类⽬树 65
4.4 获取产品列表 68
4.5 代码优化 70
4.6 爬⾍效率优化 74
4.7 容错处理 77
第5 章 Scrapy 爬⾍ 78
5.1 Scrapy 简介 78
5.2 Scrapy 安装 79
5.3 案例:⽤Scrapy 抓取股票⾏情 80
第6 章 Selenium爬⾍ 88
6.1 Selenium 简介 88
6.2 案例:⽤Selenium 抓取电商⽹站数据 90
第7 章 数据库连接和查询 100
7.1 使⽤PyMySQL 100
7.1.1 连接数据库 100
7.1.2 案例:某电商⽹站⼥装⾏业TOP100 销量数据 102 7.2 使⽤SQLAlchemy 104
round函数用法oracle7.2.1 SQLAlchemy 基本介绍 104
7.2.2 SQLAlchemy 基本语法 105
7.3 MongoDB 107
7.3.1 MongoDB 基本语法 107
7.3.2 案例:在某电商⽹站搜索“连⾐裙”的商品数据 107第8 章 NumPy 109
8.1 NumPy 简介 109
8.2 ⼀维数组 110
8.2.1 数组与列表的异同 110
8.2.2 数组的创建 111
8.3 多维数组 111
8.3.1 多维数组的⾼效性能 112
8.3.2 多维数组的索引与切⽚ 113
scratch手机版官方版8.3.3 多维数组的属性 113
8.4 数组的运算 115
第9 章 pandas 数据清洗 117
9.1 数据读写、选择、整理和描述 117
9.1.1 从CSV 中读取数据 119
9.1.2 向CSV 写⼊数据 120
9.1.3 数据选择 120
9.1.4 数据整理 122
9.1.5 数据描述 123
9.2 数据分组、分割、合并和变形 124
9.2.1 数据分组 124
9.2.2 数据分割 127
9.2.3 数据合并 128
9.2.4 数据变形 134
9.2.5 案例:旅游数据的分析与变形 136
9.3 缺失值、异常值和重复值处理 140
9.3.1 缺失值处理 140
9.3.2 检测和过滤异常值 144
9.3.3 移除重复数据 147
9.3.4 案例:旅游数据的值检查与处理 149
9.4 时序数据处理 152
9.4.1 ⽇期/时间数据转换 152
9.4.2 时序数据基础操作 153
9.4.3 案例:天⽓数据分析与处理 155
9.5 数据类型转换 158
9.6 正则表达式 160
9.6.1 元字符与限定符 161
9.6.2 案例:⽤正则表达式提取⽹页⽂本信息 162
第10 章 综合应⽤实例 164
php程序开发
10.1 按性价⽐给⽤户推荐旅游产品 164
10.1.1 数据采集 165
10.1.2 数据清洗、建模 169
正则中学10.2 通过热⼒图分析为⽤户提供出⾏建议 172
10.2.1 某旅游⽹站热门景点爬⾍代码(qunaer_sights.py) 175 10.2.2 提取CSV ⽂件中经纬度和销量信息 178
10.2.3 创建景点门票销量热⼒地图HTML ⽂件 179
第11 章 数据可视化 182
11.1 matplotlib 183
加python学习qq:775690737 送python零基础⼊门学习资料+99个源码11.1.1 画出各省份平均价格、各省份平均成交量柱状图 183
11.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 184 11.1.3 画出价格与成交量的散点图 185
11.2 pyecharts 186
11.2.1 Echarts 简介 186
python入门教程网盘
11.2.2 pyecharts 简介 187
11.2.3 初识pyecharts,玫瑰相送 187
11.2.4 pyecharts 基本语法 188
11.2.5 基于商业分析的pyecharts 图表绘制 190 11.2.6 使⽤pyecharts 绘制其他图表 199
11.2.7 pyecharts 和Jupyter 203