文/科技八哥
Robots协议是搜索引擎的立命之本，如果不遵守Robots协议，无异于脱缰之马，对正常秩序的危害后患无穷。事实上，几乎所有的搜索引擎公司都会自觉遵守Robots协议，不管是Google、Yahoo、微软必应，还是百度、搜狗，在Robots协议这个问题上，大家都按照国际规范来做事，让蜘蛛不会去触碰抓取Robots协议中明文禁止抓取的内容。哪怕是再怎么有利于丰富充实搜索结果的信息，只要有Robots文件在，蜘蛛也能遵守规则，对其“视而不见”。
正因如此，Robots协议是国内外绝大多数网站的“保护神”，不管是后台URL，还是各种敏感信息或不愿意被搜索引擎收录分享的内容，只需在Robots文件里加上一笔，就可以放心大吉。
然而，市场竞争中，有些后来的搜索引擎，却往往因为急于上位或受利益驱使，在不告知对方的情况下，就擅自违反Robots协议，偷偷的抓取收录Robots文件中禁止抓取的内容，这就已经不只是道德层面的“缺德”，更是一种很恶劣的不正当竞争行为了。
虽然在国外还没有见到过这种不靠谱的搜索引擎存在，但国内却有这么一个官司，说的就是不违反Robots的事儿。
2013年10月中旬，百度诉奇虎360违反“Robots协议”抓取、复制其网站内容侵权一案在北京市第一中级人民法院开庭审理。百度认为，360搜索在未获得百度公司允许的情况下，违反业内公认的Robots协议，抓取百度旗下百度知道、百度百科、百度贴吧等网站的内容，已经构成了不正当竞争，并向奇虎索赔1亿元。
这个事情要刨根问底，实际上要再后退一年，从360在2012年8月推出搜索引擎说起。由于360的搜索结果中包含着百度百科、百度知道等多个百度产品内容。百度就不愿意了。双方当时的矛盾焦点主要集中于是否应该遵守Robots协议的问题。奇虎360公司认为，Robots协议不具有法律效力，也非强制性规范，搜索引擎公司可以不遵守Robots协议。并且百度百科、百度知道的内容是最优质的网络内容，其搜索结果中应该包括百度相关产品。百度公司表示，奇虎360违反Robost协议抓取大量百度内容，要求360遵守Robots协议停止收录使用百度产品的信息内容。
后来，在行业协会的调解下，包括双方在内的多家互联网公司签署了12家搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》，公约规定，对于本公约公布前违反robots协议抓取的内容，在收到权利人符合法律规定的通知后，及时删除、断开侵权链接。
然而，签署了公约后的360仍然坚持自己的观点，继续抓取收录百度的上述内容。后来也就有了刚才所说的不正当竞争诉讼。
是不是不正当竞争，双方僵持不下，法庭也没有当即宣判。
算算日子，宣判日期估计也快到了。
据国家知识产权战略实施研究基地主任、北京大学知识产权学院常务副院长张平在《法制日报》发表的最新署名评论认为，Robots协议是一种单方声明,但是业界都共同遵守,成为一种行业惯例,如果上升到经营的角度,就是一种商业的规范。司法判决要给人们的行为一个指引,否则,司法机关自身也很难去判断行为的正确与否。在没有明确法律规定的情况下,法院应该去支持依靠技术规范建立起来的秩序,即违反Robots协议的行为应当适用不正当竞争一般条款。
由此来看，违反Robots协议的搜索引擎不仅有危及隐私保护的隐患，而且也有极大的触犯法律的可能。而哪怕单从道德层面看，不遵守全球业界规范的公司，本身就无法给用户安全感，让人觉得可怕。
