批量检测被百度收录的死链的方法

admin3年前网站建设16

前段时间服务器被入侵,挂了很多博彩之类的黑页,而且全部被百度收录。

现在把漏洞补好了,但删除黑页文件以后成了死链,要怎么让百度删除收录呢?

在网上找了一下,似乎只有检测网址是否被收录的工具,而没有检测收录的是不是死链的工具。

自己理清了下思路,找办法找出了所有被收录的死链,并写下这篇文章。

不知道有没有更好的方法,大家可以告诉我,先分享给大家,如果有大神请忽视或者告诉我更好的方法,一起学习交流吧。

下面教程开始

先在百度找到xenu可以模拟爬虫爬取所有连接,我下载了个汉化版。

我们先用这个工具查询所有被收录的页面。

打开软件,填入简版百度site网站地址,之所以用简版是可以减少链接查询时间和内容。(请把xxx.bizcn换成你的网址)

baidu/s?ie=utf-8&tn=baidulocal&wd=site%3Axxx.bizcn

等待检测完成。

点击导出为制表符分隔的文件。

导出的文件,我们可以看到格式是:网址+空格+状态码

那么写一个正则,把需要的网址提取出来就行,比如baidu下的404页面就是

/http:\/\/baidu(.*?)\s404/i

(以baidu开头,\s代表空格,404,/i代表匹配大小写)

不会正则怎么办?

为了方便大家,我把文件作了修改,大家只要把head改成标致性开头,state改成状态码就行,file改成导出的文件路径就行。

head怎么改,举个例子,

你的网站是baidu/abc,那么你就写baidu/

你的网站是abc.baidu.com/abc,那么你就写abc.baidu.com/

把正则写入php,在php环境下运行get.php。那么结果就出来了。

这时你只需要全选,复制到一个txt文件,上传到网站空间,再到百度站长平台死链提交填入文件路径就行就可以。

我们知道,思路是通过爬取找出所有被收录的链接,然后按条件列出来而已。

这样的话,只要把开头输入的site网址改一下,也可以查询其他搜索引擎的收录。

把正则改一下,可以获得如标题等其他内容。在此就不一一叙述。

原创:blog.vg欢迎来小博逛逛


免责声明:本文内容来自用户上传并发布,站点仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。请核实广告和内容真实性,谨慎使用。

相关文章

编辑必看:撰写搜索引擎喜爱的标题

导读:非常有干货,百度站长平台刚发布了这篇篇文章,文章建议:1,标题字数控制在65个字节内,2,重要内容放在标题的最前面,3,添加与网页内容最相关的、用户更常用的、满足用户明确需求的、体现时效性、关键...

解密QQ空间快速获得百度排名的技术

QQ 空间权重高,用来做 SEO 排名效果非常快,我自己测试过好多个词,一般都是 1-3 天上首页,排名很快。 那如何操作了,很简单:就 3 个步,只要你按我说的去做,很快见到效果。 一、 布局关...

怎么选择一家比较好的SEO优化公司?

现在,越来越多的公司开始做seo了,其中相当多的公司都会选择优化公司来做。现在市场上,各种优化公司在技术方面参差不齐,凡是学过一些seo基础优化的,都来给别人做优化了。那么,公司企业面对复杂的seo市...

亚马逊分类目录提交网站教程

亚马逊分类目录是国际高权重的分类目录网站,全人工编辑的专业分类目录网站,收录国内外,各行业优秀网站。所以我们在亚马逊分类目录提交我们的网站不但能提升我们网站的品牌,还会给我们网站带来权重。把在研究亚马...

用户体验不仅需要SEO技术,更要SEO思维

发现在互联网上存在很多人不明白网站用户体验,当网站流量上不去时候。以及网站在遇见一个问题时候。我们却不能一时到到底是什么问题。有时候去咨询老师。网上提问一看答案就马上修改,不见好转。到底这是为什么那?...

月入万元的SEO优化师:分享我几年接私单的经历

导读:优化师阿亮是一名具有十年SEO经验的优化师,从2004年踏入这个行业一直到2013年辞职下海自己做接私单优化,从刚开始的收入不错到后面步履维艰,2014年通过云客网接单,到现在已月入万元以上,下...