近日，某数字公司搜索违反Robots协议，抓取百度、谷歌等网站内容，并导致众多网站内网信息被泄露一事引起了社会各界的关注。那么，Robots协议究竟是一项什么样的规定?违反该协议会造成什么样的影响和危害?笔者特意走访了多个著名院校的计算机专业教授，请他们就这一话题表达了自己的观点。(来源:南方都市报(来源:南方都市报南都网)南都网)
Robots协议究竟是一项什么样的规定?违反该协议会造成什么样的影响和危害?笔者针对最近引起广泛关注的Robots协议，特意走访了多个著名院校的计算机专业教授。
“Robots协议是搜索引擎在抓取网站信息时要遵守的一个规则，是国际互联网界通行的道德规范。网站主人通过Robots协议明示自动抓取程序，服务器上什么内容可以被抓取，什么内容不可以被抓取。这是保证互联网行业健康发展的自律准则，尽管不是强制命令，但业界都应该遵守。中国互联网企业要想在国际舞台受到更多关注、得到更大的发展，没有理由不遵守这个游戏规则。如果不遵守，不仅损害了违规企业自身的形象，也损害了中国互联网行业的整体声誉，得不偿失。”中国工程院院士高文表示。
上海交通大学教授张娅表示：“Robots协议是互联网业界共同认可的一项协议，是国际搜索引擎的通用规则，我也曾经供职于Yahoo这样的互联网企业，遵守Robots协议是学术界和工业界的共识，也应当被互联网企业视为行业发展的道德准则。”
据介绍，Robots协议是网站出于安全和隐私考虑，防止搜索引擎抓取敏感信息而设置的。搜索引擎的原理是通过一种爬虫spider程序，自动搜集互联网上的网页并获取相关信息。而鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。
对于企业违反Robots协议的行为，浙江大学计算机学院院长庄越挺形象地比喻：“互联网网站页面，如同广阔农村中的一个菜园，各有其主。一般而言，访客进去逛逛无可厚非，但是如果主人在边界立下界碑：未经允许不得入内，这就意味着主人的意愿成为外界是否获准入园参观的标准。Robots协议就是这样一块界碑，它虽然不具法律效应，但是人们都普遍遵循。未经允许入园就参观不仅违反了游戏规则，也有违道德标准。同样的道理，违反Robots协议，等同于违背了搜索引擎的行业规范，以这种方式获取资源是一种不道德的竞争。”(来源:南方都市报(来源:南方都市报南都网)南都网)
北京大学信息与管理学院教授赖茂生则认为，违反网站意愿强制抓取信息的行为，不仅突破了道德的底线，也突破了法律的底线。我国《民法通则》第4条规定：“民事活动应当遵循自愿、平等、等价有偿、诚信信用原则。”另外，依照著作权法的原理，当对数据库内容的复制使用达到一定数量时，实际上就构成了对数据库内容选择和编排的复制使用，则可能构成侵权。(来源:南方都市报(来源:南方都市报南都网)南都网)
计算机专家们对于部分企业违反Robots协议带来的危害表示严重的忧虑，他们认为这不仅将破坏互联网行业的良性发展，最终还将严重伤害用户利益。
哈尔滨工业大学教授刘挺表示，Robots协议是互联网中网站为搜索引擎所制定的内容抓取规则，体现了业界同行之间的相互信任。如果不遵循Robots协议，将会破其业界信任，使得网站的内容不愿意被抓取的内容被搜索引擎索引，最终伤害用户的利益。而清华大学计算机系教授马少平则指出，如果不遵守Robots协议，肆意抓取网站的内容，网站的信息被任意泄漏，将对互联网的良性发展产生巨大的破坏作用。
赖茂生教授还特别呼吁称，希望政府有关部门进一步加强监管和指导，媒体方面多做正面引导，强化“正能量”的作用，法律部门和法学界加强对此案例涉及的法律问题及其解决方案的研究，扶正压邪，以保障这个新兴行业健康有序地发展壮大，促进我国科技创新战略早日实现。(文/张丽)
资料：robots协议
robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware(马威尔病毒)经常通过忽略robots协议的方式，获取网站后台数据和个人信息。
