Simone
昨天的文章全球化的误区，本地化的机会，评论里，有人说，搜索引擎技术似乎不需要本地化，这一看就是彻底不懂这个领域的人讲的。当然，实话说，如果有人说，在中文本地化方面做得非常好，我是可以部分同意的，同意的比例可能会比工程师少一些。但我相信工程师也会告诉你，搜索引擎是需要本地化的。
工具/原料网站SEO知识方法/步骤1今天写篇科普文，讲讲搜索引擎的技术机理和市场竞争的一些特点。当然，作为从事或有兴趣从事流量运营的朋友，是可以用另一个角度去理解本文。
2搜索引擎的核心技术架构，大体包括以下三块，第一，是蜘蛛/爬虫技术；第二，是索引技术；第三是查询展现的技术；当然，我不是搜索引擎的架构师，我只能用比较粗浅的方式来做一个结构的切分。
3蜘蛛，也叫爬虫，是将互联网的信息，抓取并存储的一种技术实现。
搜索引擎的信息收录，很多不明所以的人会有很多误解，以为是付费收录，或者有什么其他特殊的提交技巧，其实并不是，搜索引擎通过互联网一些公开知名的网站，抓取内容，并分析其中的链接，然后有选择的抓取链接里的内容，然后再分析其中的链接，以此类推，通过有限的入口，基于彼此链接，形成强大的信息抓取能力。
4第一，网站拥有者可以选择是否允许蜘蛛抓取，有一个robots.txt的文件是来控制这个的。
5第二，最早抓取是基于网站彼此的链接为入口，但实际上，并不能肯定的说，有可能存在其他抓取入口，比如说，客户端插件或浏览器，免费网站统计系统的嵌入式代码。
会不会成为蜘蛛抓取的入口，我只能说，有这个可能。
6第三，无法被抓取的信息
有些网站的内容链接，用一些javascript特殊效果完成，比如浮动的菜单等等，这种连接，有可能搜索引擎的蜘蛛程序不识别，当然，我只是说有可能，现在搜索引擎比以前聪明，十多年前很多特效链接是不识别的，现在会好一些。
需要登录，需要注册才能访问的页面，蜘蛛是无法进入的，也就是无法收录。
有些网站会给搜索特殊页面，就是蜘蛛来能看到内容（蜘蛛访问会有特殊的客户端标记，服务端识别和处理并不复杂），人来了要登录才能看，但这样做其实是违反了收录协议（需要人和蜘蛛看到的同样的内容，这是绝大部分搜索引擎的收录协议），有可能遭到搜索引擎处罚。
所以一个社区要想通过搜索引擎带来免费用户，必须让访客能看到内容，哪怕是部分内容。
7很多动态页面是一个脚本程序带参数体现的，但蜘蛛发现同一个脚本有大量参数的网页，有时候会给该网页的价值评估带来困扰，蜘蛛可能会认为这个网页是重复页面，而拒绝收录。还是那句话，随着技术的发展，蜘蛛对动态脚本的参数识别度有了很大进步，现在基本上可以不用考虑这个问题。
