文/IT互联FUN
robots协议不是我国互联网的专利，而是一个全球共同遵守的世界通行证，没有它，互联网就失去秩序，搜索引擎就会变得没有规矩乱抓一气，更可怕的是，我们存在各大网站的各种敏感信息会被搜索引擎抓出来进而带来很多隐患。其实，千万不要小看这个对普通网民来说看起来只是一串英语单词，对互联网从业者也是司空见惯如ABC一样再熟悉不过的英文。
可以说，如果我们失去robots协议，互联网就不再是现在的互联网，混乱、吵杂、隐患丛生，隐私外泄防不胜防，各种相关事件会愈演愈烈，其严重和火爆程度决定是各种艳照门的千万倍。
robots协议也称为爬虫协议、爬虫规则、机器人协议，由荷兰籍网络工程师Martijn Koster 于1994年首次提出。robots协议是国际互联网界通行的道德规范，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。
然而，即便在大多数互联网公司和搜索引擎都认真遵守robots协议的今天，哪怕只有一个不遵守robots协议的搜索引擎公司存在，也会对信息隐私形成隐患。
去年10月，百度诉奇虎360不正当竞争一案在北京市第一中级人民法院开庭审理。该案涉及搜索引擎蜘蛛协议(Robots协议)的法律地位问题，百度向360提出一亿元的索赔。
这个事件中，两家公司对robots协议的不同观点值得我们深思，到底如何对待robots协议才算业界良心，才是非分裂的正常判断?
在审理中，法庭要求双方围绕搜索引擎Robots协议，是不是行业应当遵守的惯例展开辩论。百度主张Robots协议应当被无条件遵守，360违反该协议;而360则指责百度公司是在滥用“Robots协议”，设置歧视性条款以达到限制正当竞争的目的，双方各执一词。
在百度看来，Robots协议是行业通行的规则，其目的是保护网站数据和敏感信息，确保用户信息和隐私不被侵犯，主要靠搜索引擎自觉遵守。百度举例称，2008年，淘宝通过Robots协议以保护商业信息为由不同程度禁止百度、谷歌等搜索爬虫对其商品信息的抓取，尽管淘宝数据存在巨大商业利益，百度在技术上也完全具备抓取能力，但百度严格遵守了Robots协议，立即停止了抓取淘宝网内容。百度方面认为，360搜索在百度Robots文本中还未将360爬虫写入的情况下，违反Robots协议内容，强制对“百度知道”、“百度百科”等百度网站内容进行了非法抓取，违背了国际通行的行业规则，甚至可能导致网民隐私大规模泄露，构成了不正当竞争。
但360方面认为，Robots协议并不具有任何法律效力，而是百度利用了Robots协议自设白名单，谷歌、微软必应、雅虎、搜狗、SOSO等搜索引擎均可以抓取这些内容，唯独禁止360搜索抓取，属于打压竞争对手，涉嫌违反《反垄断法》。360同时称，这些内容页面实际上是由网友提供，根据互联网的通行规则，这些页面的版权属于网友，360搜索索引这些内容页面并不侵犯百度的知识产权，实际上还为百度带来了大量的用户和流量。
唉，这看上去真是颇有些公说公有理婆说婆有理的意思。360搜索在未获得百度公司允 许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，是否构成了不正当竞争，相信法律自有公道。
从国际上看，排名前1000左右的网站中，有上百家网站设置robots白名单：Facebook、Twitter、Alexa、 LinkedIn 等国际知名网站，均采用白名单制设置robots，即只允许robots.txt文件中声明的搜索引擎抓取，禁止其他搜索引擎抓取，例如Facebook网站允许baiduspider、Googlebot、msnbot、naverbot、 Eznambot、Slurp、teoma、Yandex等搜索引擎爬虫收录使用网站特定内容，禁止包含360等在内的其他搜索引擎抓取。TWITTER网站部分内容只允许Googlebot、Slurp、Yandex 、msnbot搜索引擎爬虫抓取，对于其他搜索引擎不允许抓取。
在国内，设置robots协议的网站超过4亿，像新浪、淘宝、腾讯、CCTV、人民网、网易、新浪等各大网站无不设置了robots协议，百度和360也都在各自站点中设置了robots协议。
庆幸的是，像谷歌、百度、微软必应这些大牌搜索引擎，一直以来视robots协议为不可冒犯的天条，从来都是用国际标准来认真遵守，这才让我们的互联网生活平安无事，一片静好。
