brianway/webporter
Fork: 862 Star: 2782 (更新于 2024-12-12 12:39:12)
license: 暂无
Language: Java .
基于 webmagic 的 Java 爬虫应用
最后发布版本: v1.0 ( 2017-05-11 20:27:32)
webporter
webporter 是一个基于垂直爬虫框架 webmagic 的 Java 爬虫应用,旨在提供一套完整的数据爬取,持久化存储和可视化展示的实践样例。
webporter 寓意“我们不生产数据,我们只是互联网的搬运工~”
如果觉得不错,请先在这个仓库上点个 star 吧,这也是对我的肯定和鼓励,谢谢了。
目前只提供了知乎用户数据的爬虫示例。不定时进行调整和补充,需要关注更新的请 watch、star、fork
webporter 的主要特色:
- 基于国产 Java 爬虫框架 webmagic,是众多 Python 爬虫中的一股清流
- 完全模块化的设计,强大的可扩展性
- 核心简单,但是涵盖爬虫应用的完整流程,是爬虫应用的实践样例
- 使用 JSON 配置,无需改动源码
- 支持多线程
- 支持向 Elasticsearch 批量导入
注意:webporter 不是爬虫框架,而是如何使用爬虫框架进行实战的样例,偏休闲性质,不建议使用在生产环境。 生产环境建议使用 webmagic 或者 scrapy
webporter 核心模块的架构和设计主要参考了 webmagic https://github.com/code4craft/webmagic
webporter 的 github 地址:https://github.com/brianway/webporter
效果展示
详细的数据分析文章请看我的博客 《爬取知乎60万用户信息之后的简单分析》
- 下载数据:去重导入 Elasticsearch 后大概有 60+ 万用户数据(目前没有遇到反爬限制)
- 示例分析:通过聚合得到知乎用户 top 10 行业分布情况(1:男,0:女,-1:未知)
仓库目录
- webporter-core:核心基础模块,包括自动配置,抽象逻辑等部分
- webporter-data-elasticsearch:将数据导入 Elasticsearch 的工具模块
- webporter-collector-zhihu:知乎用户信息的业务模块,完成爬取和持久化存储的功能
环境要求
- JDK 1.8+
- Maven 3.3+
- Elasticsearch 5.0.1
- Kibana 5.0.1
新手可参考我的博客 《Elasticsearch 5.0-安装使用》快速上手 Elasticsearch+Kibana
快速开始
以爬取知乎用户数据为例
1.定制配置文件
配置文件位于 webporter-collector-zhihu/src/main/resources/config.json
, 示例:
{
"site": {
"domain": "www.zhihu.com",
"headers": {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36",
"authorization": "Your own authorization here."
},
"retryTimes": 3,
"sleepTime": 500
},
"base_dir": "/Users/brian/todo/data/zhihu/"
}
仅需要修改两处:authorization
和 base_dir
即可
-
authorization
: 需要知乎账户在已登录状态下自行在浏览器抓包提取该 HTTP 响应头。若有疑问请参考 issue 3 -
base_dir
: 为保存数据文件的根目录,需具有写权限
配完就可以直接使用了。更多关于 site
的属性配置请参考 WebMagic in Action - Site Config
2.启动爬虫
依次运行 webporter-collector-zhihu
模块的下面两个类的 main
方法即可。(注意:由于这两个阶段是串行的,不要同时启动这两个类)
-
ZhihuFolloweePageProcessor
:该类用于从知乎下载用户信息,下载的数据可以复制粘贴在 在线 json 格式化工具中查看 -
FolloweeUploader
:该类用于将用户信息上传到 Elasticsearch (需要提前安装并运行 Elasticsearch),知乎数据的 index 名称为zhihu
3.可视化
安装好 Elasticsearch 和 Kibana 后,在 Kibana 中使用 Visualize 对数据可视化即可
赞助
如果您觉得该项目对您有帮助,请扫描下方二维码对我进行鼓励,以便我更好的维护和更新,谢谢支持!
TODO
- 数据爬取,获取知乎用户数据
- 数据持久化,将数据导入到 Elasticsearch 中
- 可视化展示,通过前端框架对数据进行简单的分析和展示
- 使用 Java 8 新特性完善代码
- Dockerize 这个仓库,方便用户直接使用
联系作者
Email: weichuyang@163.com
Lisence
Lisenced under Apache 2.0 lisence
最近版本更新:(数据更新于 2024-08-28 05:30:12)
2017-05-11 20:27:32 v1.0
主题(topics):
elasticsearch, kibana, zhihu
brianway/webporter同语言 Java最近更新仓库
2024-12-20 19:54:15 mybatis-flex/mybatis-flex
2024-12-19 21:53:46 spring-projects/spring-boot
2024-12-19 21:25:16 Stirling-Tools/Stirling-PDF
2024-12-19 16:28:14 Tornaco/Thanox
2024-12-19 10:42:01 alibaba/nacos
2024-12-18 20:58:34 dromara/forest