批量检测被百度收录的死链的方法

softyun3年前网站建设43

前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。

现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?

在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。

自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。

不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。

下面教程开始

先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。

我们先用这个工具查询所有被收录的页面。

打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn换成你的网址)

baidu/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn

等待检测完成。

点击导出为制表符分隔的文件。

导出的文件,我们可以看到格式是:网址+空格+状态码

那么写一个正则,把需要的网址提取出来就行,比如baidu下的404页面就是

/http:\/\/baidu(.*?)\s404/i

(以baidu开头,\s代表空格,404,/i代表匹配大小写)

不会正则怎么办?

为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。

head怎么改,举个例子,

你的网站是baidu/abc,那么你就写baidu/

你的网站是abc.baidu.com/abc,那么你就写abc.baidu.com/

把正则写入php,在php环境下运行get.php。那么结果就出来了。

这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。

我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。

这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。

把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。
来源:卢松松博客 微信/QQ号:13340454,欢迎分享本文,转载请保留出处!


免责声明:本文内容来自用户上传并发布,站点仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请核实广告和内容真实性,谨慎使用。

相关文章

个人备案:原主体下其他网站内容不合格解决方法

 前言:网站备案对于广大IT从业者或者草根站长来说并不陌生,我对于网站备案这个制度持中立态度:一方面,网站备案有利于规范互联网环境;另一方面,繁琐的备案流程、苛刻的审核条件和长时间的等待让不少新手望而...

论坛防灌水软件大PK,谁更胜一筹?

 论坛广告机刷注册,垃圾灌水一直是广大站长很头疼的问题,针对这两个“顽疾”也有不少的解决办法,比如建站程序自带的防灌水机制,各种各样的防灌水插件等等。不过从许多站长的反馈来看,这些防灌水插件的效果都有...

seo优化:如何分析竞争对手网站的几个重要方面!

怎样分析竞争对手网站?分析竞争网站要分析这些方面 对于做seo优化的伙伴来说,研究分析竞争对手网站是一件最为常见,也十分重要的事情。但是,很多小伙伴都不知道怎样去分析竞争对手网站。和老板说分析了对手网...

网站投资:你和我的20个自身检查

  1、web2.0提了也白提 web2.0这是一个概念,打着web2.0的概念,只是说技术如何如何2.0,战略如何2.0,其实意义真的不大。投资人需要的是一个网民能够接受,并且很有特点的网站,能够满...

如何选择美国主机

美国主机商由于发展较早,其配置、性价比和服务都非常优质,因此购买美国主机也成为了很多国内站长朋友的不错选择。在选购美国主机之前,需要对美国主机有一个全面的认识,先了解下很多站长选择美国主机的原因,美国...

云灾备平台:英方云初体验

 人为误操作、误删除、中病毒、硬件和软件故障、系统故障、存储损坏(固态和移动硬盘、U盘、磁带库)等因素造成的数据丢失是家常便饭;如果碰到运营 商服务故障、跑路甚至自然灾害包括地震\火灾\洪涝等不可抗力...