文/达人小编
在新浪、网易、搜狐等几乎所有大中型网站的根目录里，都会有一个只有几KB或十几KB的robots.txt文件，别看这个文件小的可怜，却事关世界网民的隐私安全。
对我国6亿多网民来说，如果没有这个robots.txt文件，我们在新浪、网易乃至淘宝、京东等各大网站的账户信息等隐私内容，都有可能被不法分子恶意获取，严重影响着网民的信息安全。这可不是危言耸听，两年前，就有微博网友zeracker曝出360抓取用户账户、密码及订单、优惠码等信息，并晒出图片，让360浏览器抓取很多国内知名网游的后台订单、优惠码等敏感记录的行为尽显无遗。对一个搜索引擎而言，如果违反robots协议，不仅用户隐私会受到威胁，就连公司的商业机密我无法保证。记得之前曾有IBM国际商业机器中国有限公司的黑客老鹰在微博中指出，360搜索能抓取公司内网信息，而这些信息在正常状态下仅能通过VPN+动态口令才允许访问。这也就意味着公司所有的内部信息、商业机密等将在360面前暴露无疑。虽然该当时微博发出后立刻被莫名删除，但关于搜索引擎违反robots协议给社会带来的信息安全隐患却发人深省。
事实上，作为以抓取收录检索信息为天职的搜索引擎，即便没有robots这种协议规范存在，也应该本着业界良心，去时刻严防隐私信息的泄露、处处尊重知识产权等相关法律。而robots协议作为国际互联网界通行的道德规范，一直以来就被Google、Yahoo、百度、微软等各大主流互联网公司和搜索引擎平台视为不可触犯的天条。作为国际道德规范，robots协议基于两大原则建立，其一，搜索技术应服务于人类，同时尊重信息提供者的意愿，并维护其隐私权;其二，网站有义务保护其使用者的个人信息和隐私不被侵犯。由此，全称为“网络爬虫排除标准”(Robots Exclusion Protocol)的Robots协议，主要就是告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。
然而，尽管被奉为天条，仍有一些搜索引擎领域后来者不以违反Robots协议为耻。有资料显示，自360搜索于2012年8月推出以来，其违反robots协议，窥探用户隐私的问题便屡屡遭到各方的质疑和反感。早有报道称360的抓取不仅让用户账户信息存在风险，邮件等信息也难逃厄运。细心的网友曾发现在使用360搜索时，360搜索居然会抓取IBM lotus domino 邮件系统后台和个人邮件文件存储地址。360违反robots(拒绝抓取)协议的抓取行为，将使用户邮件信息的内容，可以被搜索引擎抓取，更可以被网民搜索。
实际上，如果搜索引擎违反Robots协议，还可能产生更多后果。据中国经济法学研究会副会长兼竞争法专业委员会主任委员、中国社科院研究员王晓晔在《法制日报》发表的署名评论《违反Robots协议可能涉及不正当竞争》，我国的互联网协会订立了关于Robots协议的自律性公约,这个公约仅对参加了这个公约的企业具有约束力。根据Robots协议所涉及的内容,不遵守这个协议的行为也可能构成侵权,这种情况下的Robots协议就具有法律效力。他认为，有些涉及Robots协议的案件,例如奇虎360和百度之间的争议,因为这两个企业都从事搜索引擎业务,双方存在竞争关系,这样的Robots协议案件就可能涉及不正当竞争的问题。
由此来看，如果一个具有抓取收集内容能力的搜索引擎，不遵守Robots协议，不仅给网民的信息安全带来严重隐患，而且还会扰乱既有的市场秩序，不利于互联网行业一直以来的公平竞争环境。
