8月7日上午，中国中文信息学会信息检索与内容安全专委会副主任、中国科学院计算技术研究所副总工程师、网络科学与技术实验室主任程学旗研究员表示，“Robots协议自1994年提出来之后，已经成为互联网行业的一个事实性标准，robots协议在平衡信息网站服务性能、个人隐私声明和商业利益保护方面作用明显，对维护一个良性的互联网信息服务产业生态有着重要意义，应该被搜索引擎提供商所遵守。”
正如程学旗介绍，Robots协议是一个网站针对站外网络爬虫所发布的关于其网站结构和网页信息希望被采集或者不被采集的声明。鉴于网络安全与隐私的考虑，每个网站都会设置自己的Robots协议，来明示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。
在众多业内人士看来，Robots协议体现了业界同行之间的相互信任，是行业道德的具体体现。如果不遵循Robots协议，将会破业界之间的信任，违背行业道德，最终伤害用户的利益。如果不遵守Robots协议，肆意抓取网站的内容，网站的信息被任意泄漏，将对互联网的良性发展产生巨大的破坏作用。
程学旗表示，“无论国外还是国内，Robots协议已经成为网络信息内容提供方与网络信息搜集与检索提供商之间遵守的行业惯例，其目的主要是为了维护网络信息内容生产者、提供者与网络搜索引擎之间的平衡。”360无视百度Robots设置，强行抓取信息的行为，不仅突破了道德的底线，也突破了法律的底线。我国《民法通则》第4条规定：“民事活动应当遵循自愿、平等、等价有偿、诚信信用原则。”另外，依照著作权法的原理，当对数据库内容的复制使用达到一定数量时，实际上就构成了对数据库内容选择和编排的复制使用，则可能构成侵权。
由于国内互联网行业发展太快，相应的法律法规也不够完善，因此行业条例在一定程度上起到了替代法律空缺、约束企业行为的作用。程学旗对此则表示：“作为一个业界普遍遵守的事实性标准，Robots协议在平衡信息网站服务性能、个人隐私声明和商业利益保护方面作用明显，对维护一个良性的互联网信息服务产业生态有着重要意义，应该被搜索引擎提供商所遵守。”
确实，中国互联网企业要想在国际舞台受到更多关注、得到更大的发展，必须遵守这个游戏规则，如果执意妄为，不仅损害了违规企业自身的形象，也损害了中国互联网行业的整体声誉。
