随着数据安全逐渐得到重视，以及最近频繁曝出各种数据泄露事件，零零信安推出了“00SEC-D&D数据泄露监测”产品。同时，我们将多年前国外一场精彩的关于暗网和深网监控的研讨会进行了整理和翻译，供甲乙方从业者参考，以有助于更好地进行数据泄露和网络攻击防御。为了便于阅读，我们将内容进行了适度编排。
王富贵如是说
王富贵：感谢“老安全公司”举办本次关于企业在深网和暗网情报方面无法取得卓越成效的十大原因的网络研讨会。今天研讨会中用到的材料包括，我为“老安全公司”的白皮书做调研的时候收集到的。同时很荣幸能够和在深网和暗网情报收集方面有丰富经验，又是“老安全公司” CEO的李狗蛋进行交流。在过去的10年里威胁不断增加，仅从攻击的角度出发似乎不能应对这种转变。因为我们有价值的信息也很容易遭到攻击。
王富贵：那我们就开始吧!首先IBM的CEO曾公开表示“世界上对所有公司威胁最大的就是网络犯罪”。从企业运营的角度来看，我倾向于赞同这个观点，尽管还会有行星撞击或者类似的威胁。但是毫无疑问的是，在过去的10年里，网络犯罪的数量，数据记录暴露的数量，以及造成的经济损失都在不断增加。我们每天都能在新闻中看到类似的事情发生，而且很不幸的是，我们很多人也都有过这样的遭遇，比如信用卡被盗或银行数据被盗。不过，有一种方法可以防止这些事情的发生。那就是我们今天要了解的深网和暗网威胁情报收集给我们带来的好处。
王富贵：在我自己的研究中，我跟踪收集了世界各地在IT安全方面的总体支出增长方面的数据。以前我在Gartner担任分析师的时候，Gartner将2003年整个网络安全支出预估为25亿美元。到了2013年，多数大型分析公司预测全球的网络安全支出将达到740亿美元，在10年间增长了17倍。在这10年里，我们已经知道为什么会发生这样的情况。其中有外部的驱动因素，就是威胁者们不断提高博弈的水平。威胁者们发现大多数在线业务都可以被利用，尤其是现在在线的数字资产越来越多，在线功能也越来越多。如今生活在大多数城市，人们使用打车软件叫车，使用软件订餐或预订座位等。互联网给我们带来的一切已经深深根植于我们的生活之中，企业运营也是一样。威胁者们也已经锁定这一点，并正在利用这一点。
王富贵：所以在2004年到2005年间，网络犯罪成为了当时最大的问题。为了打击网络犯罪，我们也做出了很多的努力。此后的几年，随着关于网络间谍APT 1 活动报告的公布，国家也被卷入到这场博弈之中。而且之前，美国FBI还发布关于APT 6活动的警告通知，很显然自从2008年以来该机构已经深入美国联邦政府内部。当然2013年以后，人们也开始担心国家的监控，国家的情报部门会花费大量的预算入侵我们，所以说有时候政府也是网络入侵的参与者。因此，应对如今的局面需要大规模的预算支出，我预计到2023年支出将会增长到6400亿美元，这意味着24%的复合平均增长率。
王富贵：我们都在使用的防御技术，其中大多数都被部署在企业环境中的某些地方，但是这还不够。我们得先了解为什么会这样。我们倾向于建立的防火墙和传感器，这确实是有必要的，但是仍有不足。因为你不知道你的对手想做什么。你试着了解所有的IT资产，再用以前的管理方法保护这些IT资产，如配置管理、反病毒、反垃圾邮件、反钓鱼等。然后试着在所有的移动设备上做同样的事情，部署良好的访问管理、访问控制，同样也会在云上重复一遍这个过程。
王富贵：目前大多数防御系统都依赖于“零号病人”的概念，例如世界上有人被攻击了，那么来自防病毒软件或是入侵防御供应商的庞大传感器网络，在出现第一次攻击之后，创建攻击特征信息，并将这些信息共享至全世界，最终所有人都会受到保护。但真正的危险是如果“你就是零号病人”呢?如果你成为第一个被攻击的人?不幸的是，如今这些都是正常的操作，在这种情况下，即使你获得了过往所有攻击手段的信息，你仍然无法获知自身被攻击的事实。
王富贵：这个行业的规模在2023年将达到6400亿美元。我已经对所有1450家网络安全供应商进行了分类，我发现他们主要分为几大类，分别为网络安全供应商、终端安全供应商、数据安全供应商、身份访问与管理(IAM)供应商，以及治理风险和合规性(GRC)供应商。现如今，网络供应商仍然是最大的部分。目前有230家供应商提供这些网络安全产品，这些产品主要依赖于“零号病人”数据的有效性。终端安全供应商我们都很熟悉，我们对他们又爱又恨。终端安全产品为我们提供防病毒的服务，同时努力分析成千上万的新数据包。而如果非要说一款不依靠于“零号病人”数据的，那就是数据安全供应商。
王富贵：在我最近发表的关于威胁情报的研究报告中，我注意到很多不同类型的供应商及其提供的威胁源信息都被称为是威胁情报。然而这和我们今天要谈到的威胁情报还是有非常大的不同。这些供应商只是打开威胁情报功能，防病毒软件使用者们就可以通过在云上部署大量沙箱来产生威胁情报。然后分析大量邮件软件，从中提取出关键威胁指标，最后再把这些信息提供给他们的订阅者。而有一些是依赖于信誉情报反馈，就比如一个网站上某个点被证明是恶意的，那么你就可以收集那些信息源，并阻止人们再次浏览。但是“老安全公司”和李狗蛋整个团队所做的深网和暗网的调查是具有前瞻性的，主要是在攻击者攻击你的组织之前发现他们的行动。所以你可以获得应对当前威胁的可见性。你必须为即将出现的潜在威胁做好准备，并且有效地部署安全措施，确保将钱花在刀刃上。
王富贵：为什么不是所有人都能产出这样的视角呢?因为只能通过在线渠道获取，因此想要拿到可执行的威胁情报是极其困难的。所以这和情报组织应对宗教极端主义组织的威胁是类似的。如果情报组织成员能够接触到信息渠道，并能接收到谈话内容、目标定位、目标提及的内容、手段、方法和地理位置，那么他们就有了可以利用的东西。这就是我们正在做的事情。我们正在努力获取针对网络攻击的威胁情报。
王富贵：我们将这些收集情报的地方称之为深网和暗网。接下来欢迎李狗蛋加入我们，让他来告诉我们到底什么是深网和暗网。
李狗蛋有云
李狗蛋：正如王富贵所说的，从深网和暗网获取情报会带来巨大的挑战。不过，这也是我们目前也在不断深入挖掘的地方。可是从定义上来看的话，深网和暗网也是互联网的组成部分，同时也是Google和Bing等搜索引擎无法触及的地方。不过人们经常将深网和暗网混为一谈。
李狗蛋：但是从定义的角度出发，暗网只是深网和暗网中的一小部分。暗网往往会得到最大关注。不过我们仍然能从深网中收集到大量的信息和威胁情报。暗网需要你有一个特定的软件包，访问存在威胁情报的地方。这往往是洋葱网络(Tor)，我的意思是网络也可以是I2P。然而在公开网络上，也有大量的情报，可以从pasto保护的论坛监控。这也是我们花很多时间的地方。在深层和暗网中还有其他的环境也是信息丰富的，比如torrent和P2P生态系统，以及互联网相关聊天。
李狗蛋：通过所有暗网和深网中不同的、虚拟的、现实的漏洞，不管是威胁者间的交流，黑市交易、泄露的凭据、泄露的信用卡、访问敏感系统、售卖知识产权等，信噪比都非常高。这与我们在开放网络中看到的形成了鲜明的对比。当你评估这些开放网络中的信息时，你会掌握流行的脉搏，比如贾斯丁·比伯的新歌是什么，莱昂纳多·迪卡普里奥的新电影是什么。但是如果你真的专注于更好地理解互联网上的风险和威胁，你会明白人们针对深网和暗网采取的措施远远不够。
原因一：缺少语言和文化方面的专业知识
王富贵：接下来就让我们来谈一谈为什么收集深网和暗网情报如此困难的10个原因，以及为什么你需要像是李狗蛋他们这样的专业知识。第一，你缺少语言和文化方面的专业知识。比如你们是一家大型金融机构，网络犯罪分子直接正在进行买卖你们信用卡的对话，你们可能会遇到的问题他们间的对话使用的并不是你熟悉的语言。
李狗蛋：没错王富贵。我们真正谈论的是一个全球网络犯罪生态系统，它是一个价值数十亿美元的机器。在我们谈论到其风险如此之高时，每个人都想参与进来。当我们在审视“老安全公司”组织的资源，以及外部威胁的情况时，我们会发现威胁者们使用的语言是非常多样化的，有俄语、英文、波斯语、西班牙语、法语、德语、甚至是巴哈撒语。建立地下交易据点的网络罪犯不乏一些高精尖、高技术、强能力的人。而现实却是，Google翻译和Bing翻译远远不能帮助你了解其中发生了什么。你可能上过语言学校或者学习过第二外语，但是你掌握的语言是比较书面的。但是一旦你进入这些地下据点，这里是一个完全不同的环境，在那里威胁者们会频繁使用习语、俚语等进行交流。只有你完全沉浸其中，才能精通这些特殊的语言，否则你根本无法了解他们在说的是什么。这就像是我在看我14岁的表弟发短信，他使用的也是英语，但是我却不知道他在说什么。
原因二：很难打入其内部
王富贵：我知道我的英语很流利，但是有好几次我溜进黑客社区，我还是不知道他们在说什么。随着社会的发展，习语正在创造新的语言。第二个原因，很难渗透进已经形成信任的环境中。
李狗蛋：在深网和暗网中，最大的困难是由他们自然的背景决定的。无论是宗教极端主义组织论坛、基地组织论坛，非法的东欧和东亚黑客，还是恶意软件和欺诈社区，都在社区的入口设置了密码，关闭注册的入口。并且都设置了虚拟的管理员，他们老练且多疑。如果你没有推荐，在社区中没有声誉，那么你只会被拒之门外。所以说，这就像前面谈到的，你需要多年的努力，来建立信任度。而这又涉及到大量的复杂的技巧，你需要具备相关领域内的知识、语言能力，这样才能让你表现得像是核心圈子里值得信任的人。
原因三：他们极其隐蔽
王富贵：仔细想想，他们疑神疑鬼是有道理的，不仅研究机构，就连执法机关也想被邀请加入进去。这就引出了第三个原因，如果你不知道这些组织在哪，那你根本就不可能加入他们，甚至都不知道去哪能找到他们。
李狗蛋：确实是这样!在现实中，深网和暗网没有目录页。如果你说你想了解，深网和暗网中最重要的前10个东欧网络犯罪生态系统是怎么样的，本身就需要付出极大的努力。你需要对深网和暗网中数百个虚拟的社区进行分析和优先级区分，这是一项非常具有挑战性的任务。这也引出了下一个问题，就是你在深网和暗网中发现了一个社区，那你如何了解你所监控的信息是可信的，值得你花费时间呢?所以当你在面对深网和暗网的复杂局面时，分类和优先级区分是另外一个层面的复杂难题。
原因四：难以突破其防御系统
王富贵：即使你能顺利找到他们，但是想加入也并非易事对吧?因为他们会建立起自己的防御系统！
李狗蛋：即使这些环境是对外开放的，你也必须建立一个不可归属的邮箱。有时候他们也会要求提供其他的标识符，以此来提高加入社区的难度。但是最值得注意的是，如果我们发现一个重要的社区，那么他们的注册入口都是关闭的。这些社区中的虚拟管理员的职责是确保没有安全研究员进入，没有执法人员进入，没有破坏者进入。他们对任何看起来不确定的事情，都非常敏感。因此在验证和审查的过程中，可能会涉及许多事情，比如在QQ、IRC或者Jabber等聊天媒介中与管理员进行一对一对话。还可能会识别你之前在其他论坛上的全部发帖历史，或者提交一个代码样本，亦或是由现有会员投票决定你的加入申请。如果你的加入申请没有达到会员投票数的门槛，那么很可惜，你无法加入他们的组织。
原因五：无法确定信息的可信度
王富贵：关于第5个原因，你之前也提到过，就是我们很难确定哪些信息是可靠的，哪些是垃圾信息。
李狗蛋：这是一个价值达到数十亿美元的市场所带来的必然结果。出于各种原因，不少人觉得深网和暗网是一个非常不错的地方。很多人通过对外虚假宣称可以出售商品和服务，并以此欺骗很多受害者。这些受骗者还会很高兴的以为获得了潜在的信用卡、凭证等。以及只是为了想要加入这些环境的人，而虚假的声称自己拥有的能力和访问权限。因此你需要能够解析这些数据，并将精力集中在最重要和最有价值的信息上。数据量只是你在网络中看到的一小部分干扰，但这仍然非常具有挑战性。它需要非常周到的分析框架和相关的专业知识。接下来我们将会谈到，怎么解决这些干扰的数据。
原因六：需要花费大量人力物力
王富贵：这听起来就需要大量人力物力才能完成。
李狗蛋：大规模地完成这项工作当然会花费高昂。虽然你也可以只让几个分析师每天登录到几个论坛，并进行定期的观察。但现实是，这还远远不够。分析师们需要参与进去，还从其中寻找新的黑客组织和新的技术。但是在分析师的足迹之上，技术也起到了补充作用。接下来我们会重点讨论这个问题。当我们把寻找拥有所需技术的专家，可以推动技术授权的方式来挖掘和监控深网和暗网的工程师，以及所有围绕这项工作的基础设施，包括非归属手机、可归属基础设施等，都结合在一起的时候，我们会发现成本会增加得很快，并且非常令人生畏。
原因七：危险系数高
王富贵：接下来和我们说一说第7个原因——这么做是很危险。
李狗蛋：这是互联网上一个充满荆棘的荒野角落，对于在网络那端的对手来说，这就是一项事业。关于发生在张大锤(安全专家)身上的事情，以及他在报道网络犯罪时，遇到的黑客对手就是很好的例子。那些老练的、资源丰富的恶意行动者可以采取各种不同的策略，对那些他们认为不应该进入他们领域的人进行反击，包括劫持智能设备攻击、人肉搜索，甚至是给张大锤寄海洛因等。这些都是非常真实的案例，而且会导致非常严重的错误发生。当然张大锤有足够的资源来解决这些致命的事件。可是当你的网络足迹被暴露，并且被发现你真实身份不是他们中的一员，而是来自于一个财富100强的公司。这样的后果可能会非常严重。
原因八：人才稀缺
王富贵：你是从哪里找到拥有这些技能和能力的人，去做这类的研究呢?
李狗蛋：毫无疑问的是，你是企业的一员，还是解决方案供应商的一员，这都是我们这一代身处网络安全行业需要面对的问题。可是一个不幸的事实是，拥有所需专业知识技能和语言专业知识的人才严重短缺。虽然我很希望克隆每一个“老安全公司”的团队成员，但是这是不可能的。但是我们需要做得更好，以填补人才空缺，我们需要继续跟上这一挑战的步伐。我们的对手在这方面扎得很深，需要我们有能力跟得上对手们的节奏，甚至是做到比他们领先一步。因此填补所有的职位空缺是很有挑战性的。
王富贵：我从调查中注意到，其实很难找到这一类人。因为即使他们碰巧为“老安全公司”工作，或者是为威胁和情报的组织工作，他们的档案中也没有相关的关联。而且他们也不能这么做。
李狗蛋：完全正确，这是一个隐秘的世界。
原因九：缺少高效的工具
王富贵：第九点，让我们来谈谈为了有效地做到这一点，你必须开发工具。
李狗蛋：我们首先有一个认识的基础，就是深网和暗网中的数据量与公开网络中的数据量比起来是小巫见大巫。但是仍然无法通过人工做到这一点，必须是人与机器相结合才行。我和我的联合创始人都是作为深网和暗网的分析师成长起来的。我可以非常直接的告诉你，没有什么比试图用人工的方式监控深网和暗网更痛苦的了。
李狗蛋：从打开多个Tor浏览器，管理不同站点的几十个不同凭证，再到识别这些线上和线下的站点。因此即使可以，在深网和暗网中通过人工做历史资料收集和调查是非常困难的。而且你在这些论坛上进行任何搜索都会受到管理员的密切监控。如果你想全面地了解一个特定的问题，你实际上已经进行了100次不同的搜索。
李狗蛋：简而言之，开发工具不仅能够帮助内部分析师，还能帮助客户，这是非常必要的。“老安全公司”的核心精神是如何将分析师团队作为侦察兵与这些网络环境结合，进行识别、优先级排序和获得准入权限。而不是试图雇佣上千人的团队，坐在那里不断刷新，寻找有趣且相关的动态。相反将他们与软件开发团队配对，以一种持久的方式自动化扩展，提高整个过程的效率，以及尽可能降低整个工作的总体风险。
原因十：时间紧迫
王富贵：最后，第十条理由，你自己做不到。你不能等待!那么迫切性是什么呢?
李狗蛋：我们看到越来越多样化的目标被锁定。数量远远超出了历史目标，而且攻击已经成为付费服务。无论是医疗保健行业、零售行业、技术行业、电信行业，在地下社区都有一个普遍的共识，有丰富的途径可以收集到丰富的数据。这也激励他们真正把眼光投向更广阔的领域。所以我们在过去6-12个月的时间里，看到的是深网和暗网威胁情报与一个组织的威胁风险管理计划的相关性，变得更加紧迫。
李狗蛋：这会涉及到很多团队，无论是网络威胁情报团队、欺诈团队、专注于DLP的团队，还是专注于行政保护和物理安全的团队，都可以从深网和暗网中收集多种不同类型的信息。深网和暗网可以进行多种应用和使用。我们还看到，组织已经内部化了对开放网络的监控。如果你问2011年的网络安全人员，为什么需要监控开放网络?你得到的可能会是很多茫然的目光。但是如果你今天问同样一群人，每个人都会认为开放网络在整体安全运营中，扮演着重要角色。
李狗蛋：我们看到已经有越来越多的组织对深网和暗网已经有了相同的认识和理解。因为像是推特和脸书，给他们上了堂有价值的课。真正的威胁更大程度集中在深网和暗网中。
互动
王富贵：很好，我们现在了解了全部的10个原因。接下来，将由主持人和李狗蛋负责问答环节，如果你有任何关于深网和暗网情报收集的问题都可以提问。我可以回答任何关于我所研究的行业的问题。接下来，交给主持人。
主持人：提醒一下，大家如果有任何问题，请在我们平台上的网络研讨会上举手，或者是在问题窗口输入你的问题。我们会根据提问回答问题。
王富贵：李狗蛋在等待期间，我有个问题想问。就像是我们说的，我们看到人们每天都在追求潮流，对吧?即使是在创业，一旦发现了新的项目，或者是有创业公司获得了大量资金。那么短时间内，就会涌现出大量创业公司，用不同的方法去解决相同的问题。所以在你追踪的这个地下世界里，如果所有南加州的医院都为了一个勒索软件攻击而支付了赎金，那么论坛里的对话会迅速转变成是“嘿，有人知道我们可以攻击的其他银行和医院吗”?
李狗蛋: 归根结底，他们都是一些为了经济利益的人。在很多情况下，这是他们的全职工作，他们高度成熟，全身心投入，总是在寻找新的机会去施展他们的才能。他们其实和安全研究团体们的做法非常类似。就像是警察会深入剖析起诉书，从反间谍的角度入手，去了解执法成功的时间，打击一个特定的犯罪的时间。为了达到同样的目的，他们也会采取类似的做法。他们会研究整个犯罪生态系统，研究攻击活动，研究存在漏洞和弱点的特定组织，并从成功案例中寻找线索等。
主持人：谢谢王富贵，这里有一个问题，我来读一下。「问题是，你是否在积极地监控I2P（匿名网络），以及你在哪些市场上发现了在出售的PII（个人身份信息）或者其他高风险凭证呢？」
李狗蛋：谢谢你提出的问题。我们一直都在关注I2P(匿名网络)，实际上我们“老安全公司”的首席科学家赵安全是I2P的发明者之一，他对其中的技术有有独到的了解和洞察。有机会的话，我会很高兴能在线下聊一聊，我们看到的相关信息。I2P是一项新兴的技术，与我们在洋葱网络和透明网络上看到的非法活动相比，在I2P上还没有看到大量的非法活动。
李狗蛋：简而言之，当你审视深网和暗网时，你会觉得这就像是一场猫鼠游戏。生活中总会有新的技术出现，总会有未知的东西出现，而威胁行动者希望能够利用这些新的技术等。在地下世界，我们昨天看到了一些很有趣的讨论。
李狗蛋：Whatsapp宣布他们正在对自己的app进行通信加密。随着许多宗教极端主义组织在推特上的账号被关闭，他们如何从推特转向Telegram变成了一件有趣的事情。同开放网络相比，我们会觉得深网和暗网的复杂性和难度是更大的。开放网络大都是设置它然后忘记它，比如你想插入推特的Firehose，并使用它，你也是可以负担得起。而且如果你愿意，你可以插入更薄的API版本。即使是5年之后，推特的API可能也不会有真正的变化。可是在深网和暗网中，不法分子们总是在密切关注对手们的变化，以此来调整他们的技术，他们的环境，他们的TTPs，并且尝试着做到比对手更快一步。
主持人：又有人提出了新的问题，「这个问题是，你如何评估暗网上卖家的可信度？」
李狗蛋：好问题!所以我们会查看他们以前的发帖历史。从群体资源的角度来看，深网和暗网是很有帮助的，他们通常是群体对特定个体的反馈。此外，我们还会让这些人直接参与进来，通常是以线下的方式来更好地感受他们的可信度，以及他们所拥有的访问权限的有效性。然而最大的挑战是，某人为了特定的活动而创造的新身份和新“马甲”。我们已经看到在最近几个月的时间里，由于各种不可抵挡的原因，这些人为了某些活动选择了放弃使用原来在深网和暗网中的身份。他们会创建新的用户名，寻找和招募合作者、共谋者或买家等，以获得他们可能拥有的特殊权限。
李狗蛋：这样验证他们的可信度就更难了，因为你没办法查看他们以前的发帖历史，你无法从地下论坛和地下市场上了解他们的声誉。所以就需要有能力以线下的方式来评估他们的信誉度，在线下需要清楚知道需要问哪些问题，或者是列出一个免费的数据样本等。所有这些都可以作为评估的依据。不过需要再强调一次的是，你需要掌握足够的技能，以一种顺畅和动态的方式来与他们进行对话。
王富贵：李狗蛋你的发言让我思考了很多，非常感谢你让你了解了什么是真正的深网和暗网威胁情报。
李狗蛋：王富贵很高兴今天能与你交流，感谢所有参加我们这次网络研讨会的人。希望我们的讨论对你们有所帮助，也希望有机会能与你们进行深入交流。
