批量检测被百度收录的死链的方法

softyun3年前网站建设42

前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。

现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?

在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。

自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。

不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。

下面教程开始

先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。

我们先用这个工具查询所有被收录的页面。

打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn换成你的网址)

baidu/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn

等待检测完成。

点击导出为制表符分隔的文件。

导出的文件,我们可以看到格式是:网址+空格+状态码

那么写一个正则,把需要的网址提取出来就行,比如baidu下的404页面就是

/http:\/\/baidu(.*?)\s404/i

(以baidu开头,\s代表空格,404,/i代表匹配大小写)

不会正则怎么办?

为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。

head怎么改,举个例子,

你的网站是baidu/abc,那么你就写baidu/

你的网站是abc.baidu.com/abc,那么你就写abc.baidu.com/

把正则写入php,在php环境下运行get.php。那么结果就出来了。

这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。

我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。

这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。

把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。
来源:卢松松博客 微信/QQ号:13340454,欢迎分享本文,转载请保留出处!


免责声明:本文内容来自用户上传并发布,站点仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请核实广告和内容真实性,谨慎使用。

相关文章

内容营销的21条黄金法则

 在“内容为王”的移动互联网时代,营销策略中的内容营销已经被加冕为王。对于创业者和创新企业来说,SEM(搜索引擎营销)、粉丝经济、公关等等手段尚不可形成规模,现阶段唯一能做好的,就是以内容为王道做好营...

干货:企业产品网站三个月关键词排名上首页,农村包围城市

让一个企业产品网站三个月内主关键词排名上百度首页不知道大家以为难不难,在这之前我也认为很难,但是看了朋友的操作案例后,给我做了站内分析“农村包围城市”,我相信了。 在这里不少读者就说了,“农村包围城市...

博客九周年:稳中求胜 持续发展

本文题图为2014年一位网友给我的题字:不忘初心,现在这幅字我还保留在办公室。 八周年的纪念文章还历历在目呢,当我提笔写下这篇文章的时候,已经是博客九周年的日子了。博客建设的时候,我连对象都没有呢,而...

年入十万靠努力,年入百万靠能力,年入千万靠什么

最近发生一件小事,给我很大触动。 公司要做财务规划,我们请了PWC(普华永道)的朋友咨询。M作为资深审计,在普华16年,我说你混迹四大,又那么资深,绝对属于高端稀缺人才呀。她笑着说,哪有,我们很焦虑的...

90后新手,做网站4个月经验总结

 我,一个小小的90后草根站长,14年年底接触建站,到现在刚刚半年多。半年来,做了三个网站,前两个由于种种原因相继夭折,不再多提,现在一直在运营的网站,域名是创建于2015年3月2日,加上备案时间,做...

网站加速哪家强? 免费CDN服务评测大PK

 之前我把市场上主流的、适合站长用的CDN都介绍了一遍,但随着加速乐与百度分家,百度自家推出云加速后,市场格局再度发生变化。 本文,将结合卢松松的亲身体验,来对比360网站卫士、百度云加速、加速乐、安...