WebMagic-0.6.0
版本发布时间: 2016-12-18 12:00:02
code4craft/webmagic最新发布版本:WebMagic-1.0.1(2024-10-26 01:46:00)
此次更新主要是一些依赖包的升级和bugfix。
-
#290 代理增加用户名密码认证 @hepan
-
#194 重构代理池部分代码,支持自定义代理池 @EdwardsBean
-
#314 修复低版本json-path依赖2.x的StringUtils导致报错的问题
-
#380 升级fastjson 到1.2.21
-
#301 修复JsonPath在注解模式不可用的问题 @Salon-sai
-
#377 修复监控模块在URL带有端口时会报错的问题
-
#400 修复FileCacheQueueScheduler的NullPointerException问题
-
#407 为PhantomJSDownloader添加新的构造函数,支持phantomjs自定义命令 @jsbd
-
#419 修复抓取https链接线程无法结束导致进程一直运行的问题 @cpaladin
-
#374 升级HttpClient到4.5.2,修复一些安全问题
-
#424 去掉Guava依赖
因为Guava不同版本兼容性不好,经常导致demo无法运行,所以我最后决定去掉了Guava的依赖。如果使用了
BloomFilterDuplicateRemover
的用户,需要手动依赖Guava包。 -
#426 去掉Avalon相关包
Avalon是之前计划的一站式抓取平台。因为有个朋友基于WebMagic做了类似的实现Gather Platform,所以Avalon放弃了,转而支持这个项目。WebMagic核心会专注于做应用内的框架。
1、 webmagic-0.6.0-all.tar.gz 4.98MB