利用站长平台链接分析工具优化网站
时间 :
2016-11-07,08:37:46
访问次数 :382
站长平台我想大家都知道,除了可以提交链接提高收录外,还有很多功能对我们站长去分析网站是很有帮助的。比如链接分析,那么今天西安网站优化小编为大家介绍如何利用站长平台链接分析工具优化网站。
首先链接分析分为有两大板块,死链分析与外链分析。
【本文主要内容】
(1)查找是否有黑链出现——从日志分析,百度蜘蛛抓取了网站的哪些预期外的页面,是否存在黑链。
(2)百度站长工具外链分析——查看是否有垃圾外链、黑链等,以及链向的站内什么地方,如何处理。
(3)百度站长工具链接分析——三大死链(内链死链、链出死链、链入死链),批量下载数据,合并数据,excel操作,按逻辑分类,定位问题,处理问题。
(4)从分析这些数据,得到的与SEO效果相关的其他信息(垃圾搜索引擎、垃圾外链带来的无用抓取,浪费资源配额,如何拒绝。)
(5)如何自动化地使用shell脚本,定位到被百度蜘蛛抓取到的死链,并进行复查,然后将确定为死链的URL进行自动化提交。
(6)分析工具介绍(firefox设置,插件,excel,windows命令提示符批处理)
【你也许会学到的新姿势】
(1)批量下载百度站长工具中的表格数据(
(2)合并一些常见的文档,比如txt、csv之类的文本,方便数据分析和处理。
(3)分析死链数据、定位问题的一点基本思路
【本文主要使用到的工具】
(只是结合例子中,如果有其他相似功能的工具,请结合自身习惯使用即可)
【浏览器】火狐(Firefox)浏览器,版本无所谓
【插件】:Launch Clipboard
功能:一键打开剪切板中存在的URL。(注意URL中只能有英文数字标点,如果有中文可能无法被识别)。快捷键:alt + shift +K(先复制好单个或者多个URL)
1.png
设置:打开选项设置,选择好下载文件自动保存的位置(我这里选择了桌面,你也可以单独创建一个文件夹,好对批量下载的文件进行归类)
2.png
【表格处理】:Microsoft Office 2013 Excel
【文本处理】:Notepad++
【批量处理】:Windows自带命令提示符
【开始讲解啦】
来到百度站长工具链接分析。我们看到有两大板块,死链分析与外链分析。
一、我们可以先看一下外链分析。
分析外链数据的主要目的是,找出垃圾外链,主动去封堵垃圾外链可能对网站造成的恶劣影响。最终目标:1、找到垃圾外链的域名,进行防盗链处理(针对来源为垃圾域名的,直接返回404状态码);2、处理站内可能存在问题的页面。
这里,我会重点讲解第一点;第二点比较简单,我会讲解得比较粗略。
1、定位出垃圾域名。
图注:可以看到这是一个明显不正常的趋势图
我们可以下载外链数据,来进行初步分析。
图注:下载得到的表格文件(csv逗号分隔符)
但是这样一份原始数据,是很难进行分析的。因此我们需要按照一定逻辑对其进行分析——就是按照【被链接的网页url】进行分类。
首先,我们可以快速浏览一下,进行直观判断,这些页面大部分是什么页面呢?
针对我们网站的情况来说,外链数据分为两类,正常外链与垃圾外链。
而垃圾外链又分为两种:站内搜索结果页面(垃圾搜索词)以及被黑客入侵植入的黑链(已经处理为死链)。
我们进行数据处理的目的有两个:识别出哪些是正常外链,哪些是垃圾外链,并根据垃圾外链的相关数据,进行一些处理,保护好网站;并且需要使被垃圾链接指向的页面,不被搜索引擎抓取(浪费抓取资源配额)以及被收录/索引(保证网站词库不受污染,不为网站带来形象与关键词方面的负面影响)。
第一步,筛选出网站的搜索结果页面
图注:筛选数据、复制到新的sheet中,删除原始sheet中的筛选数据,来分类数据
还有几类搜索链接格式,都以相同方式进行处理。
然后把原始sheet中剩下的数据进行去重(空白行),得到剩余的链接信息。
图注:对剩余数据进行简单的去重处理。
然后,我们需要对黑链进行筛选。黑链的数据,一般需要先从网站日志中分析得到(这样是最全面的,为了保证效率,会需要使用到shell脚本来自动运行,但是涉及篇幅过多,我将在以后的专题中进行讲解)。
当然也可以对表格中【被链接的网页url】这一列按照顺序排序后,挨着分析得到(自己去打开,同时黑客会使用一些特殊手段,妨碍我们去识别真正的会被搜索引擎识别到的垃圾内容,最常见的情况就是,使用js跳转。这样我们通过浏览器访问时,会看到完全不一样的内容,而搜索引擎抓取时,则下载到了垃圾内容。)
这时,我们需要使用一款firefox插件【No Script】,旨在屏蔽网站上的js,看到与搜索引擎类似的内容。
图注:屏蔽浏览器中java script的插件
另外还有一种不是很靠谱的甄选方法,在搜索引擎里面去搜:【site:域名 博彩】之类的关键词,把不符合网站预期的关键词拿去搜,就可以得到很多链接了。(这里需要使用一些方法,把链接全都批量导出,在今后的专题中,我会继续讲解的)
筛选过程我就只能省略啦,可以结合视频看一看。
图注:筛选出来的网站黑链
我们之所以要这么辛苦地找出垃圾外链,目的就是要把这些垃圾外链的域名记录下来,避免这些垃圾域名被黑客重复利用,拿去制作新的垃圾链接,从而在第一时间拒绝掉这些垃圾外链,使百度蜘蛛从垃圾外链访问我们网站上内容时,无法获取到任何信息(也就是返回404状态码,被识别成死链),久而久之,这些垃圾域名的权重就会越来越低(因为导出了死链,影响搜索引擎的正常抓取工作),这样我们不仅保护了自己,也惩罚了敌人。
具体方法是,把垃圾页面找出来——从搜索结果页面和黑链的两个sheet中,把外链页面整合到一起。如sheet3所示。
图注:合并垃圾外链页面
接下来的处理会使用到一款小工具,来快速获取这些链接的主域名。
https://www.benmi.com/getdomain.html
图注:将链接复制到左边红框里,点击本地提取,就会出现在右侧红框
如此一来,我们就得到了这些垃圾外链页面的主域名,我们只需要在我们服务器上配置一下防盗链,禁止refer(来源)为这些域名的访问(返回404http状态码)即可。
2、从站内对搜索结果页面进行处理(黑链处理我保留在下一次专题,因为要大量结合linux的shell脚本):
权重比较高的网站的站内搜索,一定要注意antispam(反垃圾)。如果不加以防范的话,一旦被黑客利用,那么可能会造成大量搜索页面被百度抓取,黑客利用高权重网站的资源,快速做好黄赌毒行业的关键词排名。但是这对于我们网站来说,则是噩梦般的打击。不作处理的话,可能会导致如下几方面的问题:浪费大量的蜘蛛抓取配额,去抓取垃圾页面;垃圾页面被搜索引擎收录,网站词库被黑客污染,使得网站的行业词和品牌词排名不理想;对网站形象造成损失……等。
在进行这类反垃圾策略的时候,我们需要关注四个方面:站内用户可以正常使用;不允许搜索引擎抓取这类页面;拒绝垃圾外链的访问;页面上不得出现垃圾关键词。
既然有了明确的目标,那么相应的应对方案也就出来了,那就是:
A 限制来源,拒绝掉所有非站内来源的搜索
B 页面上的TKD等关键位置,不对搜索词进行调用
C 指定敏感词库过滤规则,将敏感词全部替换为星号*(有一定技术开发要求)
D 在robots.txt声明,不允许抓取
E 在页面源代码head区间添加meta robots信息,声明该页面不允许建立索引(noindex)
进行以上处理,可以解决掉大部分站内搜索页面(不局限于该类页面,甚至其他的页面只要不希望搜索引擎抓取以及建立索引的话,都可以这样处理)容易出现的问题。
二、我们再来看一下死链分析。
死链,在站长工具的死链提交工具的帮助文档中已经有详尽的阐释,我仅仅进行一些补充即可。
死链一般有如下几种:内部死链、外部死链。
内部死链,就是我们网站上出现的,由于种种原因使得百度蜘蛛抓取链接时,无法获取到内容而被识别的死链。大部分情况下,对于我们来说,这种死链是可以通过一些方式进行避免的,因此是可控的。同时,由于链向死链的页面,都是我们网站上的页面,并且链出了死链的页面,对搜索引擎非常不友好,所以不及时处理的话,极有可能使搜索引擎无法顺利地对网站上有价值页面进行抓取,从而间接导致“局部降权”(抓取一些页面的周期变得越来越长,快照更新缓慢,排名上不去之类)。
内部死链问题比较严重,所以应当优先处理内部的死链。
而我们可以放慢地百度站长工具中获取死链数据,并按照一定逻辑方式进行整理和划分,定位问题,接下来我将围绕进行死链数据分析进行讲解。
通过在页面上对死链信息进行预览,谁都会,我就不需要过多说明了。而死链问题,不需要每天都去下载表格进行分析,而只需要每天大致看一下数据,是否有突然出现的死链,找到原因并处理(一般大范围出现,比较容易被察觉到,也是需要紧急处理的);其次我们需要定期进行一次较为彻底的死链数据分析,看看是否有平时没有关注到的死链问题(一般出现范围小,会比较难以察觉,但是任由其长期发展下去的话,可能会造成大问题)。
关于利用站长平台链接分析工具优化网站的知识就给大家分享到这里了,如果哪天你发现自己的网站优化不上去,那么你可以去尝试在站长平台去分析链接,找出死链黑链和垃圾链接及时处理,才会将毒瘤从网站身上清除完,网站才能再次恢复过来。