大小：1,448.3M 语言： 中文
类型：实用工具 系统：Windows
WebMagic是一个简单灵活的Java爬虫框架。基于WebMagic，你可以快速开发出一个高效、易维护的爬虫。webmagic采用完全模块化的设计，功能覆盖整个爬虫的生命周期(链接提取、页面下载、内容抽取、持久化)，支持多线程抓取，分布式抓取，并支持自动重试、自定义UA/cookie等功能。
本次更新增加了Downloader模块的一些功能。
#609修复HttpRequestBody没有默认构造函数导致无法反序列化的bug。
#631HttpRequestBody的静态构造函数不再抛出UnsupportedEncodingException受检异常。
#571Page对象增加bytes属性，用于获取二进制数据。下载纯二进制页面时，请设置request.setBinarayContent(true)，这样对于二进制内容不会尝试转换为String，减小开销。
#629在HttpUriRequestConverter中会自动对一些导致URI异常的字符进行转移或过滤。
#610自动识别编码时，可以识别Content-Type中charset为大写的情况。
#627支持为Request单独设置页面编码，兼容同一站点多种编码方式的情况。
#613Page对象增加charset属性，其值为request/site中设置的charset，或者为自动检测的charset(未定义时)。
#606升级jsonpath到2.4.0
#608升级jsoup到1.10.3
WebMagic是java上面经常的需要的一款爬虫类型的工具了，现在就可以试试最新的0.7.3版本，功能以及使用上面都是完全的免费的，欢迎大家试试！
（1）由于我这个爬虫的抓取有分页，而且它的分页通过js跳转的，抽取出来感觉有点麻烦，我想直接得到所有的信息，发现可以通过输入url地址请求得到所有的信息（这是网站的一个小问题，它没有设置每页数据记录条数的范围），但是需要登录才可以进行url地址的访问，就要使用cookie模拟登录。
（2）下面分析有关登录信息的cookie，我使用的是chrome，点击如图位置，会看到此网站的cookie，（如果已经访问了一段时间了，可以清除所有cookie然后重新登录再访问，否则可能会有很多的cookie，分析起来不方便），由于只有5个cookie，直接加上就可以访问了
东亚杯能买球吗 众博电竞3 上海东康体育 体育用品护 欧宝体育是什么
unicode编码转换器-Unicode转换工具1.0 绿色免费版494.8M / 7.7分
下载
云梯端电脑维修管理系统免费下载-云梯端电脑维修管理系统2016最新版1,142.5M / 9.0分
下载
幼儿园小小班家长会ppt-幼儿园小小班家长会ppt课件精美版免费下载856.4M / 9.6分
下载
随机数字生成软件-随机数字生成工具1.5 绿色免费版267.9M / 9.9分
下载
影音先锋vip破解版-影音先锋播放器9.9.993 最新破解版1,087.2M / 9.4分
下载
高中占有汉化版下载-高中占有游戏中文免安装版1,539.3M / 9.0分
下载
全本小说下载器v5.0.2 最新免费版261.2M / 8.7分
下载
短网址生成器下载-橘子短网址生成器1.0 绿色免费版1,952.4M / 9.2分
下载
NortonUtilities8.0中文版1,250.1M / 9.4分
下载
冲曈图片浏览软件下载-冲瞳快速幻灯片1.06 绿色版1,231.8M / 9.4分
下载
图片格式转换工具下载-Diggen图片格式转换工具1.0 免费版1,066.1M / 8.7分
下载
万能连点器免费下载-万能连点工具1.0 绿色免费版75.5M / 9.1分
下载
道路交通违法助手-河南道路交通违法助手1.0 免费版1,802.0M / 9.3分
下载
3d模型转换工具-3d模型转换(model2icon)1.15 中文破解版【3d模型转图标】366.6M / 8.2分
下载
猎天使魔女pc版壁纸-猎天使魔女pc版游戏高清壁纸免费下载994.9M / 9.8分
下载
热门游戏
进入专区
守护永恒之树9.69正式版地图下载-守护永恒之树9.69正式版【隐藏英雄密码】1,224.9M / 8.9分
下载
深蓝图片格式批量转换-深蓝图片格式批量转换3.0.0.0 绿色最新版1,692.3M / 9.0分
下载
时空之轮九张机下载-时空之轮九张机地图正式版1,086.4M / 9.3分
下载
面对面自习室app下载安装-面对面自习室1.0.43 手机版1,447.4M / 9.8分
下载
键盘记录器免费版-简单键盘记录器2.0 绿色免费版1,805.9M / 9.5分
下载
指尖e宝app1.3.6 安卓最新版1,574.0M / 7.7分
下载
TMPGEnc DVD Author v3.0.9 绿色汉化免费版166.7M / 8.8分
下载
方舟生存工艺任务下载-方舟生存工艺任务游戏2.2 安卓版1,174.4M / 8.8分
下载
正义荣耀bt版下载-正义荣耀变态版5.1.18安卓bt版800.2M / 9.1分
下载
商店管家收银管理系统-商店管家收银软件9.0 免费版651.6M / 9.7分
下载
I wanna stop the time下载-I wanna stop the time游戏免安装硬盘版1,249.8M / 8.5分
下载
韵镖侠app最新版本下载-韵镖侠app官方下载(快递员揽派)8.39.4 最新版1,718.6M / 7.8分
下载
迅雷VIP账号发布器(6.9尊享版)1.0 绿色免费版859.6M / 8.2分
下载
时光之帽汉化补丁3DM版1,292.0M / 7.5分
下载
植物大战僵尸年度版修改器-植物大战僵尸中文版年度版万能修改器1.0 免费版1,254.5M / 7.6分
下载
veyon电子教室下载-veyon电子教室管理软件4.7.4.0 官方版1,845.6M / 8.1分
下载
枫枫模拟鼠标点击器(鼠标模拟点击器)2.0 绿色免费版188.3M / 8.7分
下载
蓝光电影播放器下载-蓝光电影播放器(Macgo Windows Blu-ray Player)2.11.0.1816 中文破解版1,081.4M / 8.0分
下载
电影院场地租赁合同下载-电影院场地租赁合同(固定租金)免费版432.3M / 8.6分
下载
喜迎中秋月饼海报psd免费模板素材1,757.8M / 10.0分
下载
壁虎云修供应商版app2.2.0 安卓版257.4M / 8.1分
下载
SQL Server 密码修改器(SQL Server Password Changer)1.8 中文绿色版1,138.4M / 9.7分
下载
中西医处方系统 V7.0V7.0971.0M / 9.2分
下载
小巧的屏幕截图软件(My Screen Capture)v1.56绿色版568.3M / 7.9分
下载
阿优通下载-阿优通5.7.96.0 官方版284.7M / 9.3分
下载
十六进制课堂优师端app下载-优师端十六进制课堂教学云服务平台3.4.51安卓老师版534.7M / 8.6分
下载
厦门才茂波特率检查工具1.0 中文绿色版969.2M / 7.5分
下载
论坛在线时间挂机软件-yy八卦论坛挂机必备工具1.0 绿色免费版1,233.0M / 9.1分
下载
渣子冰鼠标连击器下载-渣子冰鼠标连击器软件1.1 绿色版745.9M / 9.7分
下载
vipchild少儿国际班app下载-vipchild少儿国际班TV版1.5.8安卓版1,839.1M / 7.5分
下载
鼠标模拟助手2.2 绿色版1,686.6M / 9.2分
下载
tx手游助手傲引擎专版-腾讯手游助手傲引擎专版1.3.0.1 官方最新版1,491.6M / 8.3分
下载
MultiFind Pro1.73算法注册机771.6M / 8.4分
下载
网页截图编辑工具8.0.16官方版27.0M / 8.3分
下载
免啦街商家端app1.1.2 安卓手机版368.2M / 9.9分
下载
海贼无双3剧情模式S评价全收集全支线存档下载-海贼无双3剧情模式S评价全收集全支线存档1.0 绿色免费版1,355.9M / 8.3分
下载
村淘返利机器人软件下载-村淘返利机器人20180503官方最新版1,573.4M / 9.3分
下载
天盟搜狐邮箱注册机1.0 绿色版1,391.8M / 9.5分
下载
极品飞车8:地下狂飙2绿色中文版1,756.3M / 8.6分
下载
军团的生活游戏pc下载-军团的生活(A Legionarys Life)硬盘版539.8M / 7.8分
下载
电脑锁屏软件下载-沐恩屏幕锁工具1.0 绿色免费版1,595.2M / 10.0分
下载
志愿者报名表模板-志愿者报名表(留守儿童)doc格式标准版【word版】712.4M / 7.5分
下载
爱问共享资料下载器-新浪爱问资料下载工具免费版819.1M / 9.3分
下载农家院租赁合同-农家院出租合同法律有效简单版1,404.1M / 9.4分
下载
局域网高速传输软件-陌讯局域网传输器1.0 免费版【高速传输】1,916.4M / 9.9分
下载
家庭媒体下载-MoreFunTV家庭媒体中心V1.0.3.10820.3M / 7.7分
下载
腾讯会议rooms软件下载-腾讯会议rooms软件2.12.120.557 官方最新版371.7M / 9.8分
下载
战友之家(退伍军人社交平台)2.1安卓最新版1,505.8M / 7.5分
下载
甜甜圈工厂好莱坞金钱大亨(donut city tycoon)2.5.1 安卓版519.9M / 8.5分
下载
小巧的图片查看工具-图片浏览PicMania1.0 官方免费版1,195.7M / 9.9分
下载
物业通知app-小区物业通知软件(包了)2.36.0 住户版1,837.3M / 7.6分
下载
curvizard工具下载-su插件curvizardv2.4b中文版530.4M / 8.0分
下载
RawWrite硬盘坏道修复软件-RawWrite硬盘坏道修复工具V7.20 绿色版488.4M / 9.2分
下载
编译器下载-汇编语言编译器(VinciLanguageCompiler)1.0免费版1,029.9M / 8.6分
下载
EZPlayer官方版下载1.0.3 免费版1,866.1M / 8.1分
下载
热门评论
最新评论