摘要:互联网自1969年诞生，一直远超人们的预期快速发展。微信公众平台从2012年作为一个新兴的媒体平台，呈现出垂直、分层开发、专业经营趋势。本文对微信公众号行业分布趋势进行分析。

首先，对其数据进行抓取，设计了网络爬虫程序，在爬取的程序中利用Scrapy框架，在数据抓取的过程中用到递归算法，并设计程序将抓取到的微信公众号的名称、微信号、类别、省份、成立时间、介绍等信息存储于数据库中。然后使用数据可视化工具Tableau反映出微信公众号行业分布，从多个角度不同行业进行分析。

经分析，从整个行业的角度来讲，娱乐类的微信公众号数量最多，其次是教育类的。这几类中娱乐行业的开通率最高达83.55%，微信公众号的发文次数也在提高约14.2%；从发文时间的角度来讲，一天中的早晚高峰特别是16:00-19:00，这期间是微信公众号发文高峰时间，也是阅读高峰；从城市分布角度来说，在发达的城市，尤其是广东和北京微信公众号分布较多，当然其他的城市也在不断的发展中。总的说来，根据2016年第三四季度的预测，2017年的微信公众号市场还会保持快速发展。

关键词 网络爬虫；微信公众号；Scrapy框架；数据可视化

目录

摘要

Abstract

1 绪论-1

1.1 研究背景及意义-1

1.2 国内外研究现状-2

2 基本理论-4

2.1 网络爬虫概述-4

2.1.1 网络爬虫的概念-4

2.1.2 网络爬虫的原理-4

2.1.3 网络爬虫抓取策略-5

2.2 Scrapy框架-6

2.2.1 Scrapy组成-6

2.2.2 Scrapy框架的分布式策略-8

2.3 数据可视化工具的基本理论-10

2.3.1 数据可视化工具Tableau的基本功能-10

2.3.2 可视化工具Tableau的主要特性-10

3 网络爬虫程序设计-12

3.1 网络爬虫爬取入口-12

3.2 网络爬虫程序设计-12

3.2.1 数据抓取-13

3.2.2 数据存储-16

3.2.3 数据获取-18

4 行业分布趋势分析-20

4.1 数据预处理-20

4.2 微信公众号行业分布分析-22

4.2.1 公众号发文量分析-22

4.2.2 公众号发文时间分析-23

4.2.3 地区分布趋势分析-25

4.3 微信公众号行业分布预测-27

4.3.1 游戏行业分布预测-28

4.3.2 汽车行业分布预测-28

4.3.3 行业趋势预测-29

结论-34

致谢-35

参考文献-36

附录-37