类型： 电商购物 版本： V9.2
大小： 1,261.9 时间： 2025-11-11
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
（1）由于我这个爬虫的抓取有分页，而且它的分页通过js跳转的，抽取出来感觉有点麻烦，我想直接得到所有的信息，发现可以通过输入url地址请求得到所有的信息（这是网站的一个小问题，它没有设置每页数据记录条数的范围），但是需要登录才可以进行url地址的访问，就要使用cookie模拟登录。
（2）下面分析有关登录信息的cookie，我使用的是chrome，点击如图位置，会看到此网站的cookie，（如果已经访问了一段时间了，可以清除所有cookie然后重新登录再访问，否则可能会有很多的cookie，分析起来不方便），由于只有5个cookie，直接加上就可以访问了
本次更新增加了Downloader模块的一些功能。
#609修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。
#631HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。
#571Page对象增加bytes属性，用于获取二进制数据。下载纯二进制页面时，请设置request.setBinarayContent(true)，这样对于二进制内容不会尝试转换为String，减小开销。
#629在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。
#610自动识别编码时，可以识别Content-Type中charset为大写的情况。
#627支持为Request单独设置页面编码，兼容同一站点多种编码方式的情况。
#613Page对象增加charset属性，其值为request/site中设置的charset，或者为自动检测的charset(未定义时)。
#606升级jsonpath到2.4.0
#608升级jsoup到1.10.3
WebMagic是java上面经常的需要的一款爬虫类型的工具了，现在就可以试试最新的0.7.3版本，功能以及使用上面都是完全的免费的，欢迎大家试试！
唯美秋天壁纸高清图片-秋天风景桌面壁纸高清通用版
1,147.4M
秋天一眨眼就过去了，但是秋天唯美的景色却一直留在人们的心目中，为大家带来秋天风景桌面壁纸，高清唯美风秋日壁纸，带给您不一样的秋天，欢迎下载。秋天风景桌面壁纸素材...
万年历-喵喵桌面日历1.3 免费版
758.8M
关于桌面日历的软件有很多种，但是有些日历软件占用很大的桌面空间。喵喵桌面日历是一款透明的桌面日历，而且功能也很全面。说了这么多，大家是不是很想详细的了解一下这款...
2017考无忧考试题库下载-2017考无忧考试题库教育综合素质(小学)17.2 正式版
850.0M
2017考无忧考试题库教育综合素质(小学)是为广大小学教师们带来的考试题库,里面含有丰富的试题,模拟试题,让你进行考前复习，让你们轻松面对教师考试。2017考无...
天谴修罗1.0.5正式版地图下载
1,247.4M
天谴修罗1.0.5正式版是一款非常好玩的魔兽类地图，相信有不少人都是喜欢玩的，现在为大家带来天谴修罗1.0.5正式版地图，喜欢这个游戏的可以看看哦！天谴修罗1....
Excel教程大礼包下载-Excel教程模板合集(行政销售管理+数据分析处理)打包版
1,321.5M
Excel教程模板合集是专为经常需要制作表格的办公达人准备的福利合集，这里有最新最全的图表模板，全套的office视频教程，还有图表实战技巧等内容，46个表格高...
vip账号分享器-蜗牛网络VIP帐号发布器(VIP账号获取器)3.0 绿色版
1,247.8M
蜗牛网络VIP帐号发布器（VIP帐号获取器）是一款绿色免费的网络VIP帐号共享软件。软件功能强大，支持每天获取迅雷VIP会员、115网盘VIP和好莱坞影视vip...
阿伦迅雷VIP账号分享器下载-阿伦迅雷VIP账号分享器1.2.2 绿色免费版
1,572.5M
很多人下载各种东西都会选择使用迅雷，但是迅雷想要有效的提高速度非要使用会员加速功能，阿伦迅雷VIP账号分享器为大家提供各种免费的会员账号，有需要的就来下载试试吧...
彼岸归还中文版下载-彼岸归还手游1.10 安卓版
1,343.0M
彼岸归还手游是一款非常不错的文字解谜游戏，暗黑的风格加入了恐怖元素，主要讲的是主角在学校睡午觉，醒来就是末日，同学都相继死去，你需要找到谜题，从学校逃出去。游戏...
画个激光剑游戏下载破解版-画个激光剑游戏下载免广告(Draw Saber)0.2.0 内置功能菜单
785.7M
绘制军刀(DrawSaber)小游戏，这游戏的玩法非常简单，就是你和NPC作战，你的武器是靠自己一笔画出来的，形状大小长度都是看你一笔能画成什么样子，NPC都是...
物品租赁合同模版下载-物品租赁合同范本doc免费版
214.7M
物品租赁合同范本是一份很标准的租赁合同，在举办一些大型活动的时候，很多道具礼服物品都可以去租赁，这时候就需要签署相关合同了。物品租赁合同范本预览物品租赁合同条款...
获奖的Windows文件压缩存档工具(PowerArchiver2009)V2010 11.60.22 英文绿色特别版
1,911.6M
曾获奖的Windows文件压缩存档工具，支持大部分压缩和编码文件（即压缩后自解压的可执行文件），它通过一个与WindowsExplorer无缝整合的易用界面提供...
万能程序多开器官方下载-万能程序多开器【支持微信电脑版多开】1.0.0 绿色免费版
1,624.7M
在电脑上面有很多的时候都是需要我们多开的，特别是需要微信电脑版需要多开的朋友，你可以试试下面的这款万能程序多开器可以支持微信电脑版多开的版本，想开多少个就可以开...
暑假安全教育ppt免费下载-暑假安全教育ppt模版2018最新版
1,631.5M
暑假来临，全国各地的学校都开始放假了，暑假的安全问题是很重要的，每年暑假期间发生的悲剧太多了，小编带来了暑假安全教育ppt，欢迎同学们来下载学习！暑假安全教育p...
新浪靠谱助手官方下载-新浪靠谱助手5.2 官方版
60.6M
新浪靠谱助手是一款可以让您在电脑上玩手机游戏的安卓模拟器工具，为您提供精心挑选的各类精品游戏下载，让您电脑手机一起玩。新浪靠谱助手的功能特点千款游戏精挑细选1、...
AviSynth 2.5.8 RC3
551.2M
AviSynth是一个功能强大的视频文件后期处理工具，提供了许多编辑和处理视频文件的方法。...
小马国的禁止事项电脑版下载-小马国的禁止事项pc版1.6.5 【全彩蛋攻略】电脑版
2025/11/10 06:58
网站视频下载工具-超易网页视频捕手1.0 官方免费版【2015小啊工作室】
2025/10/07 09:34
自我介绍竖版电子小报模板19套for a3/a4 word格式
2025/10/20 07:29
自由崛起游戏下载-自由的崛起Rise of Liberty免安装版
2025/10/14 17:03
东方月神夜游戏1.0 繁体中文免安装版
2025/10/24 00:23
植物大战僵尸老八版火麒麟版手机下载-植物大战僵尸老八版(Gourmet vs laoba0.04)v0.04 最新版
2025/10/04 14:37
桌面图标分类整理软件-桌面图标分类整理工具(TAGO Fences)2.5 安装版
2025/11/08 19:07
飓风视频加密工具V2015 绿色最新版
2025/11/09 03:37
最新商超波音软件-商场超市播音专家1.1官方版
2025/11/07 17:26
好多分下载-好多分app1.5.7 安卓版
2025/10/25 13:30
蝙蝠侠阿卡姆骑士-蝙蝠侠阿卡姆骑士九项修改器1.0 绿色版
2025/10/03 01:13
acdsee2021旗舰版下载-ACDSee 2021 旗舰版14.0.1.2489 精简版
2025/11/02 09:19
网络推广软件-百分百网络营销助手1.8 官方最新版
2025/11/02 23:17
中性界面门禁管理软件7.107 简体中文免费版
2025/10/19 12:07
精科文字转换通软件下载-精科文字转换通1.1免费版
2025/10/26 15:07
![狂牛视频加密工具v0.4.7.2 [2010.1.30]更新](http://pic.uzzf.com/up/2017-1/2017132025506881.png "狂牛视频加密工具v0.4.7.2 [2010.1.30]更新")
精科文字转换通软件下载-精科文字转换通1.1免费版
2025/10/26 15:07更新
精科文字转换通是一款非常实用的汉字编码转换软件，用户通过这款软件能实现编码之间的互相转换，还能批量转换多个文件文本，满足用户多样需求，小编为你带来精科文字转换通...
支持 ( 78 ) 盖楼(回复)
支持 ( 54 ) 盖楼(回复)
支持 ( 165 ) 盖楼(回复)
支持 ( 152 ) 盖楼(回复)
支持 ( 87 ) 盖楼(回复)
支持 ( 103 ) 盖楼(回复)
支持 ( 166 ) 盖楼(回复)
支持 ( 59 ) 盖楼(回复)
支持 ( 113 ) 盖楼(回复)
支持 ( 159 ) 盖楼(回复)
支持 ( 44 ) 盖楼(回复)
支持 ( 60 ) 盖楼(回复)
支持 ( 35 ) 盖楼(回复)
支持 ( 125 ) 盖楼(回复)
支持 ( 32 ) 盖楼(回复)
支持 ( 191 ) 盖楼(回复)
支持 ( 32 ) 盖楼(回复)
支持 ( 44 ) 盖楼(回复)
支持 ( 132 ) 盖楼(回复)
支持 ( 146 ) 盖楼(回复)