
类型: 语言学习 版本: V7.9
大小: 1,790.8 时间: 2026-01-09





文件类型与编码
检查目录以外的链接足球大小球
检查JS文件


对于链接抓取的限制上,Spider也做了许多功能。首先是下面的特殊限制:
H1标签文本与长度
一个网站的内部链接是否正确,是影响网站SEO的重要因素之一。“小站靠外链,大站靠内链”,只有在做好内链的前提下,有规模的网站才能够事半功倍的将排名优化上去。
对于链接爬行工具来说,可能大家第一印象想起的就是Xenu。Xenu可以说是比较早期的一批SEO工具,而Xenu的功能也是较为普通。
那么今天就为大家介绍一款和Xenu同样功能的软件,由ScreamingFrog公司所出的SEOSpider。
可能有些朋友对于ScreamingFrog不太了解,我做一下简单的介绍吧,ScreamingFrog是英国的一家网络公司,而ScreamingFrogSEOSpider则是他们的一个产品。在Moz所发布的2014行业报告里关于Top10SEO工具一项排名,ScreamingFrog是排到了第5的位置。
好了,牛逼吹完了。我们也应该开始说说ScreamingFrogSEOSpider(下面简称为Spider)的事情了。
Spider分为试用版与收费版,试用版的权限较为鸡肋,只能爬行抓取到500个URL而已。而收费版的话呢,是99英镑/年。建议大家可以下载一个试用版玩玩看,如果觉得真的不错,Adrian建议你还是买一个正版。
ScreamingFrogSEOSpider
跟踪表示Nofollow的外部链接
忽略robots.txt
HTTP状态码和状态
ScreamingFrogSEOSpider的界面
Description与长度
Spider的抓取方式可以分为Spider与URL,简单点理解就是一个你可以放一个页面或域名开始抓取,另外一个则是放一个URL文件进去抓取。
你在输入好url或选择好url文件后则会开始抓取内容,那么问题来了,Spider可以为我们抓取页面的什么内容呢?
CanonicalURL
Title与长度
检查外部链接
页面链接
检查CSS文件
这里大家可能还是看不太懂,那Adrian为大家简单举例解释一下。
案例一:D姐想要抓UC所有页面,其中不包括CSS,JS,SWF(因为这些浪费时间和资源)。那么就可以取消勾选四个选项了;
案例二:民工想要像蜘蛛一样爬取UC的页面,那么就可以只勾选Ignorerobots.txt这一项了;
案例三:何元想要只抓dx的首页所有链接,全部勾选上,除了不要勾Ignore与Limitsearchtoal就可以了,当然记得勾上LimitSearchDepth并设置层级为1;
如果还看不懂,那我也无能为力了,只能是找D姐给你好好培训一下SEO了。
其实Spider的功能有许多,我就不一一提及了。说几个我常用的功能吧!
第一个,正则爬行页面。
在configuration中的include和exclude里都有可以写正则的地方,在那里你可以设置你想要特定抓取爬行的链接。至于怎么使坏,需要你自己想象了。
第二个,速度限制。
在configuration中的Speed中有关于速度的限制,这里需要提一下的是速度上的限制不仅仅指的是线程,还有限制抓取URL速度,例如你想要1URL/S,又或者是2URL/S。这个功能可以躲避部分有防重复爬行限制的网站。
第三个,UserAgent设置。
在configuration中有一个UserAgent里可以设置你的身份,你可以设置为某搜索引擎的蜘蛛或浏览器都可以。
第四个,自定义字段检查功能。
同样是在configuration中的custom,这个功能可以说是比较好用的功能,主要是可以让Spider在爬行抓取的同时可以根据你所设置的自定义字段进行筛选。例如:我在Custom设置了包含DVD这个字眼,那么所有出现DVD字眼的页面都会特别筛选出来。
还有其他的功能,如:代理抓取,制作sitemap,导出url等功能,都是比较实用的。这里我就不做介绍了。
其他(文件大小,字数,层数,内链数量,站外链接数量等)
Keywords与长度
检查SWF文件,也就是Flash之类的
检查图片


跟踪标识Nofollow的站内链接
总共抓取层数

总共抓取数量

H2标签文本与长度
赚钱新点子
1,229.7M
其实现在的每个音乐网站都有其自己的风格,想要获得正常的音乐外链非常困难。想要就借助音乐外链智能转换工具。能够通过它把解析出的音乐文件地址用于QQ空间背景音乐、网...
火币商家怎么赚钱的
615.1M
优帮App是一个技能社交软件,拥有一技之长的朋友可以分享自己的技能,可以为需要的朋友服务,在线接单,并获得报酬,欢迎有一技之长的朋友来下载使用!优帮App介绍优...
上海工资赚钱吗
982.9M
精灵学院手游,以原汁原味的故事剧情,贯彻爱与真实的邪恶,守护世界的和平。任性百搭最强卡牌组合,热血日语CV献声,劲爆热血瞬间点燃,精灵学院手游简介20年经典还原...
开网店卖什么赚钱啊
1,003.9M
InstaSaberapp是一款很适合装逼的ar应用软件,可以让你手持闪光的光剑,它可以在任何光线下实现完美的光剑,随意舞动也不会间断,非常的自然,很适合用来拍...
snk全明星棋牌
941.7M
房屋出租信息发布模板是房主在需要把房子租出去的过程需要用到的一种纸质宣传资料,为了更好的表达房子具体情况和更多信息,今天东坡小编给大家提供房屋出租信息发布模板。...
斗地主赚钱版是真的吗
1,022.7M
王朝崛起测试版是一款全战策略型手游,游戏采用3D引擎技术,游戏场景宏伟壮观。在游戏中玩家需要懂得策略,熟用兵种搭配,以智取胜。感兴趣的朋友们可点击下载试玩。王朝...
棋牌区卡通图片
723.2M
幸运大学森官方版是一款服务于高校大学生的平台,软件是面向全国大学生的,所以在校大学生们都是可以用的哦,平台汇聚了当下大学生们都感兴趣的话题,你都能在这上面找到你...
建行信用卡提现利息怎么算
1,750.5M
贵阳美食小吃app是贵阳本地特色美食小吃推荐软件,在这里你会发现各种好吃的去处,包括店铺推荐,详细地址等等,让每一个去贵阳旅游的吃货都找到去处!贵阳美食小吃ap...
京东极速版赚钱
690.9M
是一款专为无锡地区优质房源推荐的软件,用户可以在这里查看新房与二手房的价格,可以一键预约进行看房,还支持购房者交流等功能,帮助你购得中意的房子!e房网介绍无锡e...
领红包的游戏欢乐消消乐
1,753.3M
硬笔书法字体在很多网站都提供,但是都是单个单个的下载,我觉得很麻烦,所以我就全部打包了,今天给大家提供的是方正硬笔书法字体.又更新了三个字体,也是方正系列的书法...
股票经纪人的佣金计算
316.9M
放置类烹饪经营手游《鸣沙客栈》,算是在比较俗套的美食类模拟经营里加入了自己的特殊设定,给出了非常具有目的性的食谱,所以玩家只需要按照模板创造出新的菜肴就好了。而...
想赚钱的图
1,555.5M
皇家马护理游戏是一款好玩的休闲小游戏,可爱的小马,你需要在游戏中照顾好塔,让小马儿健康快乐的成长!皇家马护理游戏介绍仙境的皇家公主有新朋友。他是来自仙境的她梦寐...
微信领不了红包要实名认证
1,613.3M
幸福小助手在线日历(日历天气软件)可以在桌面上显示天气、日历,是一款功能强大的桌面时钟日历工具,支持查看各地的实时国际时间,而且软件还支持阴历和阳历对照显示,查...
广东a8棋牌
60.5M
我们在一起!各大电视台跨年晚会流畅直播,客户端签到就有好礼相送,大把奖品拿到手软,更有机会获得在《女神办公室》求婚表白机会哦,让我们爱在一起!PPTV,每个人的...
股票1000块能赚多少
1,418.7M
贪玩游戏达叔传奇官网是一款非常出色的经典游戏,在整个游戏当中将会让你体验到不可思议的经典玩法,而且整个传奇游戏挑战之旅还是比较给力的,精彩纷呈的各种挑战任你感受...
买车用车赚钱方法
2025/12/24 00:52
吉祥棋牌二
2025/12/31 08:56
洛阳周末兼职招聘信息
2025/12/22 11:28
高佣联盟为什么能赚钱
2025/12/26 03:31
最新老k棋牌游戏大厅
2025/12/31 08:31
电子游艺赌博网站套利
2025/12/19 22:17
棋牌源码怎么用
2025/12/31 12:18
徐州兼职在家做手工活
2025/12/20 22:17
十块钱能提现的棋牌
2025/12/17 02:01
随星播怎么赚钱
2025/12/19 11:43
玩扑鱼游戏赚钱提现
2025/12/26 19:37
你们兼职家教在哪找的
2025/12/20 20:18
网上赚点外快
2025/12/28 15:58
手机5g赚钱
2025/12/18 11:19
捕鱼挣钱怎么到账
2025/12/18 04:08
捕鱼挣钱怎么到账
2025/12/18 04:08更新
飞兔共享app是一款汽车分时租赁平台,用户下载注册APP后就可以通过软件在线租车,自助网点提车,平台车型选择多样化,并且价格实惠,欢迎下载!飞兔共享app功能飞...
支持 ( 16 ) 盖楼(回复)
支持 ( 15 ) 盖楼(回复)
支持 ( 45 ) 盖楼(回复)
支持 ( 170 ) 盖楼(回复)
支持 ( 191 ) 盖楼(回复)
支持 ( 138 ) 盖楼(回复)
支持 ( 179 ) 盖楼(回复)
支持 ( 72 ) 盖楼(回复)
支持 ( 41 ) 盖楼(回复)
支持 ( 65 ) 盖楼(回复)
支持 ( 119 ) 盖楼(回复)
支持 ( 124 ) 盖楼(回复)
支持 ( 49 ) 盖楼(回复)
支持 ( 10 ) 盖楼(回复)
支持 ( 54 ) 盖楼(回复)
支持 ( 181 ) 盖楼(回复)
支持 ( 83 ) 盖楼(回复)
支持 ( 143 ) 盖楼(回复)
支持 ( 196 ) 盖楼(回复)
支持 ( 91 ) 盖楼(回复)