spier和普通用户的区别

企鹅SEO
企鹅SEO
企鹅SEO
6393
文章
74
评论
2018年7月27日 评论 24.8K views
广告也精彩

所有的全文搜索引擎都表示自己的SPIDER对网站的抓取行为和普通用户的访问行为没有太大区别。站在普通用户的角度这句话的确没有问题,但是站在站长和SEO的角度这句话就不太对了。网页上有很多东西普通用户看不到也分辨不清楚,但是Spider可以mqq页上也有很多东西普通用户可以看到并分辨清楚,但是Spider不可以。可以说Spider是一个既聪明又弱智的普通用户,spider有着普通Y壕堑 大部分特性,但是也有不少差异。


Spideer可以分辨出网页中是否有隐藏内容,是否被挂了黑链等,但是不能完全了解网页中图片的内容,更不能读取JavaScript,Iframe、Ajax和Flash中的内容,普通用户却是恰恰相反;
Spider没有Referer,对网站的抓取全部都是直接访问,而普通用户中除了直接访问的用户外一般都是有Referer的;
Spider对网站的访问没有Cookie,但是普通用户是有的;
Spider不会主动注册登入网站,但是普通用户是可以的;原则上Spider不会抓取和分析网站robots中已经屏蔽的内容,但是普通用户是可以正常访问的;
Spider对于有多个动态参数网站的抓取,可能会陷入死循环,但是普通用户是不会的;
Spider对于列表中前几页的新内容抓取好,但是感兴趣的普通用户会依次浏览;
Spider毕竟是人为技术驱动的程序,与普通用户还是有着非常大的区别的,因此给了站长和SEO人员很大的操作空间。站长和SEO人员在充分了解到Spider和普通用户的区别后,可以更方便地优化网站,使得网站内容被充分抓取,网站整体在搜索引擎中有个良好 的表现;同时也可以利用两者的区别,使得网站内容被 充分抓取,网站整体在搜索引擎中有个良好的表现;同时也可以利用两者的区别,使得在不影响搜索引擎抓取排名的情况下,给普通用户更友好的用户体验,比如,判断用户Referer给用户推荐内容等;当然,不排除有些站长和SEO人员会利用这些区别,采纳很多极端的技术作弊手法,在普通用户感觉不到的地方,误导Spider对网站内容的判断,而恶意抢夺很多本不应该得到搜索流量,这是不可取的。无论如何,都有必要深入了解两者的差异。
文章来自重庆seo博客。

继续阅读
广告也精彩
关于php命名规则的几点内容具体介绍 php教程

关于php命名规则的几点内容具体介绍

在写代码的时候,一个好的编码规范,对我们来说能够起到很多意向不到的效果。比如: 1、提高我们的编码效率。整齐划一的代码方便我们进行复制粘贴哦! 2、提高代码的可读性。 3、显示我们专业。别人看到了我们...
如何构建一个便捷高效的App消息列表? 产品设计

如何构建一个便捷高效的App消息列表?

因地制宜,才能设计出一个便捷高效的消息列表。 消息列表的主要目的在于使用户获取消息,并完成处理,不同的软件对于消息的要求也不尽相同。即时通信类软件在于使用户尽可能快的获取和处理信息,同时保证私密性。资...
匿名

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: