战略seo团队认为,中国互联网已经跨过了建站时代。正在大步迈向网站推广、网络营销时代,而基于搜索引擎的优化、营销、推广[SEO/SEM]将成为最重要的应用技能。网站优化、推广、网络营销将成为互联网时代的新动力。战略SEO将与您一同学习、探讨、研究相关问题。
搜索引擎派出他们的搜索机器人去访问、索引网站内容,网站管理员也默认、欢迎它们来访。但是由于搜索引擎派机器人来访会在一定程度上影响网站性能,因此并非所有的机器人都是无害的,有一些非法机器人伪装成主流搜索引擎漫游器对网站大量遍历,并且不遵循robots.txt规范,会严重拖垮网站性能而又无其它益处。因此,网站管理员需要验证每个机器人身份是否合法。
在你的服务器日志文件中,可见每次访问的路径和相应的IP地址,如果是机器人来访,则user-agent会显示Googlebot或MSNBot等搜索引擎漫游器名称,每个搜索引擎都有自己的user-agent,但仅有这个还不足以证明这个机器人的合法性,因为很多垃圾制造者可能将他们的机器人也命名为Googlebot,以伪装蒙混进入网站,大肆采掘内容。
目前,主流搜索引擎都建议网站管理员通过这种方式来辨别真实的机器人身份:通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称;用主机名查找IP地址以确认该主机名与IP地址匹配。
首先,使用DNS反向查询(Reverse DNS Lookup),找出机器人IP地址对应的主机名称。主流搜索引擎的主机名称通常情况下应是这样的:
今天看了一下吕本富的博客,还是有所发现的。其中就有《关于搜索引擎的十个问题》,时间是2006年7月。作为第二代互联网人,大言不惭的也来解答一下关于搜索引擎的十个问题,让大家见笑了。
关于搜索引擎的十个问题
1、搜索的核心技术在哪里?
吕:搜索引擎的核心技术有三个方面:一是页面抓取技术,也就是所谓的蜘蛛技术;二是页面排序技术,其支撑技术是数据库技术;三是用户的搜索需求识别技术,其中用户的需求最难识别。
zlseo:3大核心我很赞同,除此之外可能现在又多了一个网站内容的分析能力。哎这都是seo惹得祸。现在来看第三点成为真正的引擎技术核心,而且是百度在中国战胜google的主要手法。
2、怎么看待目前国内的搜索引擎的竞争态势和发展趋势?
吕:国内的搜索引擎基本上还是百度、Google、雅虎三强并立,百度稍微突出一些。我认为发展趋势为:这三家继续做通用搜索,其余的搜索引擎可能转向垂直搜索。
zlseo:三强大的格局没有变化,不过新人soso还是很猛的。相信在中国挤掉yahoo只是时间的问题。至于垂直搜索,两年后来看。经过很多的尝试后还是失败了。
3、除了广告之外,是否还有其他的赢利模式?
吕:搜索引擎现在最主要的赢利模式就是广告,虽然也进行了很多探索,其他的赢利模式并不成功。当然广告也有很多种:竞价排名、关键词购买、广告联盟、流量计费等。
zlseo:以长老的短浅目光来开,未来搜索引擎将像QQ一样从用户身上拿到利润。这就是百度在国内和QQ死扛的根本性原因。国外google在和微软对抗,而且从各个方面看google已经占有上风。
4、现在搜索进入的门槛低吗?
吕:现在搜索引擎进入的技术门槛比较低,从网络上就可以获得搜索引擎的开放源代码。但是搜索引擎的品牌门槛已经很高,搜索引擎本身也要推广自己。所以,除非有革命化的技术突破,比如,出现了新的图像搜索算法,否则,新的加入者没有多少机会。
zlseo: 当然像腾讯一样有大量的用户做支撑,进入搜索引擎市场还是有机会的。soso我看好你呦!
5、有人说“在通用搜索引擎市场,最多只能留下两家公司,第三家会很难过”,怎么看待这个问题?
吕:在通用搜索市场上,应该会存在三家公司,理由如下:从用户心理、竞争态势、实力比拼,三家容易形成比较稳定的市场格局,在IT市场中有很多这样的先例。当然也可能形成“胜者通吃”的局面,只有一家垄断市场。从国内现在的形势看,后一种状况似乎不存在。
zlseo:从现状来看好像百度在国内十分强势,虽然google动用了所有资源。前所未有的关注谷歌中国的发展,但是市场份额上还是节节败退。哎老外在互联网上就是搞不懂中国人。
6、在技术上,通用搜索之间、垂直搜索之间以及通用搜索和垂直搜索之间有可比性吗?
吕:在页面抓取方面,技术是通邮【用】,所以通用搜索和垂直搜索有一定的可比性。在页面排序方面,通用搜索和垂直搜索可以有差异、也可以没有差异,但是一个比较优秀的垂直搜索应该有自己独特的排序算法。
zlseo:技术上说通用搜索引擎每个人都有自己的超级特长。百度的中文分词,google的网站分析和网络部署及数据库技术。当然这些专业精深的技术垂直引擎是不可比拟的。所以我个人认为在某些很小的点上有可比性,但整体上根本不在一个档次中。
7、目前,垂直搜索还受到实力、品牌、推广等方面的不利因素,同时,一些垂直资源性网站还对他们展开信息屏蔽,怎么看待这些不利因素?该怎么应对?
吕:垂直搜索肯定是未来的一个主要发展方向,各种专门的搜索网站一定会进入人们的生活,但是它的实力不可能达到通用搜索引擎的实力。垂直搜索和垂直资源网站应该构成一个完整的供应链,它们之间应该不是一个互相取代的关系,之所以有“信息屏蔽”现象的存在,主要是它们之间的利益分割规则还没有定型。
zlseo:现在看来垂直引擎已经没有未来了。就连大门户、垂直门、专业牛站都开始seo了。而且通用引擎的行业搜索也开始见起色了,如百度不仅仅是mp3搜索。有了视频、百科、新闻等50多个频道,除去空间、贴吧等绝大部分是垂直搜索。
8、搜索的最终目的是电子商务吗?
吕:搜索的最终目的不是电子商务。之所以电子商务企业重视搜索,是因为搜索引擎会成为电子商务网站的流量的主要来源,因此也是它们收入的主要来源。任何一家电子商务企业当然不希望自己的脖子被别人卡住。
zlseo:非常同意吕先生的观点,电子商务引擎们根本就没有看上眼。现在个人观望,是用户。大量的终端用户才是引擎真正的目标。这也就是百度和QQ大战的根源。
9、未来在搜索领域胜出需要哪些核心能力?
吕:搜索领域的核心能力是多种多样的,可以是综合能力,也可以是“一招鲜”。所谓综合能力就是基于客户体验的对搜索引擎的满意度,满意度越高,核心能力就越强。“一招鲜”是指在一个细分市场比较突出或者有一种专门技术,这样的公司往往是通用公司的收购对象。
zlseo:用户体验、高品质的信息量、高质量的用户需求分析能力、开放的心态、更好的客服。
10、从目前来看,GOOGLE在中国的发展并不理想,你认为它会收购一些公司来互补吗?据说他们习惯收购小公司。
吕:从著名互联网公司在中国发展的历程看,失败或者不成功是普遍现象,GOOGLE的发展状况和遭遇的问题基本上是在预料之中。GOOGLE应该会收购一些技术上比较互补的小公司,但是对GOOGLE在中国的运行不会有太大的帮助。
zlseo:那是肯定的,google和微软的战争就是投资者为了争夺互联网的重要资源【yahoo】,哎曾几何时。yahoo竟然沦落到“人为刀俎 我为鱼肉”的境地了。吕本富在06年肯定想都不敢想。
PR>=4 百度谷歌均有收录,内容丰富,做好本站连接,请联系QQ:331785108。本站定期整理,投机者删除。