类型： 教育学习 版本： V4.9
大小： 226.1 时间： 2025-11-17
本次更新增加了Downloader模块的一些功能。
#609修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。
#631HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。
#571Page对象增加bytes属性，用于获取二进制数据。下载纯二进制页面时，请设置request.setBinarayContent(true)，这样对于二进制内容不会尝试转换为String，减小开销。
#629在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。
#610自动识别编码时，可以识别Content-Type中charset为大写的情况。
#627支持为Request单独设置页面编码，兼容同一站点多种编码方式的情况。
#613Page对象增加charset属性，其值为request/site中设置的charset，或者为自动检测的charset(未定义时)。
#606升级jsonpath到2.4.0
#608升级jsoup到1.10.3
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
（1）由于我这个爬虫的抓取有分页，而且它的分页通过js跳转的，抽取出来感觉有点麻烦，我想直接得到所有的信息，发现可以通过输入url地址请求得到所有的信息（这是网站的一个小问题，它没有设置每页数据记录条数的范围），但是需要登录才可以进行url地址的访问，就要使用cookie模拟登录。
（2）下面分析有关登录信息的cookie，我使用的是chrome，点击如图位置，会看到此网站的cookie，（如果已经访问了一段时间了，可以清除所有cookie然后重新登录再访问，否则可能会有很多的cookie，分析起来不方便），由于只有5个cookie，直接加上就可以访问了
WebMagic是java上面经常的需要的一款爬虫类型的工具了，现在就可以试试最新的0.7.3版本，功能以及使用上面都是完全的免费的，欢迎大家试试！赤炎霸主1.0 安卓版
万博比分官网 奥特莱斯万博店 rot体育 凯时达表业 博鱼下注官网
西瓜快报软件1.4.1 手机版
1,631.5M
西瓜快报手机版app是一款类似于手机淘宝的网络商城选购软件，在上面用户可以领取优惠券，享受购物返利，领取新用户佣金，各大品牌推荐好物，品质有保障。软件介绍西瓜快...
小宝贝加减混合运算生成工具下载-小宝贝加减混合运算生成工具1.0绿色版
1,522.1M
小宝贝加减混合运算生成工具可以生成加减乘除计算题、填空题、或随机出题，加深他对数学的深入理解，培养学生的学习兴趣，为他们形成良好的算法思维打下良好的基础。小宝贝...
引领女性阅读建设文明家庭作文-引领女性阅读建设文明家庭征文范文doc免费下载
997.0M
三八妇女节快到了，各地都在举办相关活动，血多朋友都在参加“书香三八”--“引领女性阅读·建设文明家庭”的征文活动，小编特意带来了引领女性阅读建设文明家庭范文，可...
炫酷音乐播放器-DJ炫酷音乐盒3.0 免费破解版 【去广告】
1,669.3M
对于喜欢听dj歌曲的小伙伴来说，DJ炫酷音乐盒绝对不会让你们失望！因为它里面不但包含这个各种类型的dj歌曲，而且操作方便，音质也非常不错，让你能够真实感受dj音...
云流优酷视频解析下载-云流优酷视频解析(优酷视频解密工具)3.1 绿色版
1,365.0M
云流优酷视频解析是款专门用来下载优酷视频的软件，通过它来吧自己喜欢的优酷视频地址进行解析，然后就能安全有效的进行下载，也还能对视频进行合并，关键是这样软件操作起...
笔记本IP伴侣(IPProfile)V1.2 中文绿色特别版
552.8M
当你拎着笔记本穿梭在宾馆、家和多个办公室之间。你可曾为了在不同的地点经常改变你的IP地址而烦恼？你是否需要经常向同事询问该如何设置IP地址才能访问网络资源？你是...
课课助教app1.0 官网ios版
890.8M
课课助教app是一款掌上教学软件，老师可以直接通过app布置作业，对上传的作业进行批改，进行实现实时讲解和答疑，帮助孩子提高学习成绩，欢迎下载。课课助教app功...
迅雷会员搜索器-沐恩会员快搜(网络搜索神器)2015.2 绿色最新版
1,414.2M
沐恩会员快搜其实是根据大家的需要进行研发的网络会员搜索软件，其中最大的特点就是一键获取网络中共享的会员账号和密码，让大家都能节省很多的时间，想要...
海鸥随机密码生成器下载-海鸥随机密码生成器2.2.0 绿色版
146.7M
自从有了电脑之后，在电脑上办公就越来越多了，可是文件安全性就越来越重要了，这时就海鸥随机密码生成器，就是能随意生成密码，来保护你的那些东西，使其能更好的在电脑上...
无双赵云传ios版免费下载-无双赵云传1.0.2 苹果手机版
1,311.5M
无双赵云传是一款大型三国题材手游，这款策略RPG游戏画风非常好，东坡为大家带来了无双赵云传苹果版欢迎下载体验！游戏简介丰富多彩的策略战斗，游戏不再枯燥无味！合击...
小学生数学计算题出题器1.1 免费版
1,606.0M
小学生数学计算题出题器是一款网友分享的学习小工具，用来给小学生阶段的小朋友出数学题，具有随机出题的功能，非常不错！小学生数学计算题出题器使用方法1、选择题目难度...
互动看点app下载-互动看点软件1.0.5 安卓最新版
354.6M
互动看点软件是一款资讯阅读赚钱软件，通过看新闻和资讯还有各种短视频可以赚零花钱，虽然比较少，但是积少成多，一天看下来也能存不少红包提现了，支持微信直接提现哦！互...
志愿者培训ppt-客运服务志愿者培训课件免费版【共47页】
371.6M
作为一名客运服务志愿者，他们在工作的时候有什么是需要的做的，又有什么是不能做的呢？本节内容小编为大家整理带来的是一份客运服务志愿者培训课件ppt，该ppt从车站...
环保展板模板-低碳生活环保宣传展板模板素材psd分层高清版
1,082.3M
爱护环境人人有责，很多人都在为环保尽自己的一份力，对于环保展板模板有很多，大家喜欢什么风格的呢？今天小编和大家介绍的是一个绿色环保展板，具体为低碳生活环保宣传展...
todesk电脑版下载-todesk远程控制软件4.6.23 官方版
843.3M
Todesk是一款好用的远程控制软件，支持多平台运行，采用端对端加密,让每一次远程访问都安全可靠。安全可靠简单易用，稳定流畅是ToDesk坚定不移的目标。tod...
茶叶画册设计-古色古香中国风茶叶画册psd模板【正反面】分层文件
2025/10/16 11:38
Wallhaven壁纸电脑版下载-Wallhaven壁纸pc版v1.0 免费版
2025/10/10 19:49
永恒之蓝ms17 010漏洞检测软件-永恒之蓝检测工具MS17-010漏洞扫描工具1.0绿色免费版
2025/10/20 08:06
疯狂游戏大亨修改器下载-疯狂游戏大亨修改器+3 绿色版
2025/10/22 21:06
乐萌视界影视app下载-乐萌视界appv3.2.2.2023.07.13 安卓版
2025/10/10 04:10
麦当劳中的中国文化表达ppt-麦当劳中的中国文化表达ppt课件免费版【精美课件】
2025/10/07 14:07
移动影音转换专家V5.8.4869 绿色中文免费版
2025/10/23 03:23
diy儿童节贺卡素材-儿童节贺卡制作图片模板免费下载
2025/11/13 14:54
解码过滤器检查工具(K-Lite Codec Tweak Tool)5.8.2 绿色版
2025/10/28 00:02
德军总部2新巨人八项修改器1.0 免费版
2025/11/08 09:33
返利省钱联盟下载-返利省钱联盟app6.1.7安卓版
2025/10/25 06:36
感恩老师的ppt-感恩老师主题班会ppt课件免费版【共20页】
2025/11/12 20:41
爱到家软件-爱到家app(社区服务)1.9.3 安卓最新版
2025/10/09 14:07
计算机四级题库软件下载-计算机四级题库app4.0 最新手机版
2025/10/19 07:52
仙剑奇侠传1单机版下载-仙剑奇侠传1单机版1.0 绿色免安装版【官方下载】
2025/11/05 00:40
仙剑奇侠传1单机版下载-仙剑奇侠传1单机版1.0 绿色免安装版【官方下载】
2025/11/05 00:40更新
《仙剑奇侠传1》开辟了仙剑系列成功的道路，不论你是玩过或是没玩家仙剑1，都可以下载试试，体验、回味这款曾经的经典。虽然相对于现在的各类游戏大作，其画质过于“马赛...
支持 ( 27 ) 盖楼(回复)
支持 ( 64 ) 盖楼(回复)
支持 ( 83 ) 盖楼(回复)
支持 ( 147 ) 盖楼(回复)
支持 ( 70 ) 盖楼(回复)
支持 ( 170 ) 盖楼(回复)
支持 ( 97 ) 盖楼(回复)
支持 ( 95 ) 盖楼(回复)
支持 ( 56 ) 盖楼(回复)
支持 ( 85 ) 盖楼(回复)
支持 ( 73 ) 盖楼(回复)
支持 ( 131 ) 盖楼(回复)
支持 ( 36 ) 盖楼(回复)
支持 ( 128 ) 盖楼(回复)
支持 ( 138 ) 盖楼(回复)
支持 ( 102 ) 盖楼(回复)
支持 ( 96 ) 盖楼(回复)
支持 ( 183 ) 盖楼(回复)
支持 ( 26 ) 盖楼(回复)
支持 ( 169 ) 盖楼(回复)