外贸建站联系方式

世界是不公平的,纽约时报使用隐藏网页

这个世界其实是非常不公平的,有的网站使用作弊技术,就会被惩罚或是被封掉,有的网站使用同样的作弊手段,搜索引擎可能就会网开一面。

前些日子宝马的网站曾经因为使用作弊手段被Google封掉,但是不到24小时,宝马的网页就又被重新收录了。我很难相信宝马没有和Google进行直接联系。默默无闻的小网站想和Google联系,连门都摸不着,怎么可能24小时之内就又被重新收录呢?

今天看到一个新闻,有人发现纽约时报的网站使用隐藏网页(page cloaking),也就是搜索引擎蜘蛛所抓取的网页内容和普通用户所看到的内容是不一样的。

如果我们搜索”site:select.nytimes.com friedman“,我们会在第二个搜索结果中的描述里看到这句话,”Addicted to Oil: Thomas L. Friedman Reporting” at the SilverDocs film festival on Friday…”

nyt.gif

但是如果你点击网页,点击这个链接来到真正的网页时,却在网页上看不到这句话。你所能看到的是:”想要读全部文章的话,请订阅纽约时报网上版。”

nyt-2.gif

很显然,纽约时报网站会检测来访的是搜索引擎蜘蛛还是普通用户,如果是搜索引擎蜘蛛,网页所返回的是本来需要帐户名及密码登录之后才能看到的内容,如果是普通用户,你就会被提示需要登录或需要订阅。

这是典型的给搜索引擎蜘蛛特殊处理的手法。

对隐藏网页matt Cutts曾经有很清楚的表述,他说IP delively是没有问题的,也就是根据用户的IP地址,给予返回不同的内容。比如用户来自英国,就把用户转到.co.uk域名。如果来自法国,就把用户转到.fr域名。

但是Google所不允许的是给予Google蜘蛛特殊的对待,也就是说,如果来访的是Google蜘蛛,那么就返回一套只有Google能看到的内容。

所以IP delively没关系,实际上很多网站包括Google自己都这么做,但是不要对搜索引擎蜘蛛做任何特殊处理。

而纽约时报恰恰对搜索引擎蜘蛛返回了只有搜索引擎才能看到的内容,无疑是使用了隐藏网页技术的,但是Google,雅虎等都没有任何意见。

所以有的时候不能抱怨为什么是自己的网站被惩罚或排名上不去,这个世界本来就是极不公平的。

ZAC
昝辉,网名Zac,SEO每天一贴作者。 Google+

发表评论

电子邮件地址不会被公开。 必填项已用*标注