搜索引擎的工作原理是什么?

2016-07-11 728 0 编辑:深色多郎 来源:互联网文章

相信多其有所了解的人都明白搜索引擎的变化无常,无法真正认识搜索工作原理,但是无论搜索引擎怎样变化,大概的收录原理是不会变的:

1、找到网站的URL并下载页面。

2、判断页面质量是否达到收录标准收录页面,否则删除。

3、判断收录页面是否更新,更新页面快照。

而且搜索引擎可以分为基本的五大部分,既抓取网页系统,数据分析系统,存储数据系统,缓存系统,展示系统。

1、抓取网页系统:分为探测系统和下载系统,探测系统就是我们平常说的蜘蛛,蜘蛛在互联网上爬行时探测到一个网站的URL,就会把URL所指向的页面利用下载系统,下载到搜索引擎的服务器上,然后将页面交给数据分析系统。

2、数据分析系统:分为数据分析和数据处理两个系统,当数据分析系统从抓取网页系统那获取到被下载的页面,首先进行数据分析去除不相关的文字或网站重复内容,进行页面文字的处理,然后对处理过后的页面内容进行判断,是否达到收录标准,达到交给存储系统,没有达到删除。

3、存储数据系统:将收录的页面进行保存,然后定时进行判断存储的页面是否有更新。

4、缓存系统:存储搜索引擎认为高价值的内容,当用户搜索某个关键词时经常看到收录量有几千万,但是搜索引擎显示的只有1000条,这也就是说只有1000条被放在了缓存系统上,用户可以最快速的查找到他们想要的内容。

5、展示系统:用户搜索返回到显示器上的信息。

蜘蛛在整个互联网上爬行遇见你网站的一个URL,首先把URL提取出来根据网站权重和相关性插入到URL队列中,然后是判断你网站的这条URL是否能够解析成功,如果能解析成功,蜘蛛会爬到你网站,这里需要说一下,蜘蛛并不是直接去分析你网页的内容,而是去寻找你网站robots文件,根据你网站的robots规则判断是否抓取你这个页面,如果robots文件不存在,则会返回一个404错误,但是搜索引擎已经会继续抓取你的网站内容。

所以只要我们能够很好的明白它的工作原理,我们就能够比较轻松地进行网站优化。


本站文章均为深正网站建设摘自权威资料,书籍,杂志或原创文章,如有版权纠纷或者违规问题,请即刻联系我们删除,我们欢迎您分享到社交网站,引用和转载,我们谢绝直接复制和抄袭!感谢您...

学习课堂

【网站设计】DIV+CSS的优势有哪些

DIV+CSS框架布局是目前网站设计中,最为常见的一种,可以说目前95%以上的网页设计,都是DIV+CSS,我们就来细数下DIV+CSS的优势有哪些?(1)符合W3C标准。这保证您的网站不会因为将来网络应用的升级而被淘汰。(2)对浏览者和浏览器更具亲和力。由于CSS富含丰富的样式,使页面更加灵...

2017-07-05
2017-07-07
2017-04-10
2016-07-18

动态更新

【签约】深圳市世韩华威净水设备科技有限公司网站开发

深圳市世韩华威净水设备科技有限公司是集科研、生产、销售和服务为一体的高科技、多元化的水处理一站式服务专业企业。专注于家居净水和商务饮水的深度净化技术应用和推广;中国运营总部设在深圳,在北京、广州、广西、江西、安徽、河北、成都、湖南、湖北等地都设有经营部。

2017-04-21
2016-05-11
2017-08-23
2016-07-15

资讯知识

学习学习再学习

学习新知、探索未知、提升自我是技术人的本能,而对技术领导者来说,技术之外,更是有着广袤的世界亟待探索。全球技术领导力峰会(GTLC)是由极客邦主办的技术领导人盛会,今年是第二届,主题为“探索圆外的世界”,邀请了互联网及传统行业的权威技术领袖分享他们关于技术、行业、商业、投资、领导力的实践与见解。有志于成长为技术领导者的同学可以细细研究下。

>2017-06-28
>2016-07-12
>2016-09-22
>2017-08-10
亲,请您联系我们吧

您的疑问,只要您主动联系,将为您得到最专业,最全面的解答,欢迎您询问...