【ITBEAR】字节跳动，知名短视频平台TikTok的母公司，近日在生成式AI领域迈出了重要步伐。据外界报道，该公司已推出一款名为Bytespider的新型网页抓取工具，该工具自4月面世以来，活跃程度持续攀升，现已跻身最活跃的网页抓取工具之列。
研究显示，与业内其他领先的抓取工具相比，如OpenAI的GPTbot和Anthropic的ClaudeBot，Bytespider在抓取网络数据的速度上表现出显著优势。具体而言，其速度比GPTbot快25倍，比ClaudeBot更是快达3,000倍。这一惊人的效率提升，显示出字节跳动在AI数据收集方面的雄心壮志。
然而，Bytespider的抓取行为也引发了业界的关注。据报道，该工具在抓取过程中并未遵守robots.txt文件的规定，这一文件原本用于指导抓取工具避免从特定网站获取数据。尽管robots.txt文件并不具备法律强制力，但字节跳动的这一做法仍引发了关于版权和数据使用伦理的广泛讨论。
在字节跳动积极抓取数据的同时，公司正面临来自全球，尤其是美国的严格审查。美国总统拜登已签署相关立法，要求字节跳动出售或关闭TikTok，理由是出于国家安全考虑。尽管如此，字节跳动在AI领域的投入和决心似乎并未受到影响。
分析人士认为，字节跳动的这一抓取狂潮可能预示着该公司正在开发全新的大型语言模型。此前有报道指出，字节跳动在生成式AI竞赛中曾一度落后，甚至依赖OpenAI的技术来构建自身模型。然而，随着Bytespider的推出和数据收集工作的加速，字节跳动似乎正努力缩小与行业领先者的差距。
字节跳动的新AI项目有望为TikTok带来诸多改进，其中之一便是搜索功能的增强。近期，TikTok已对其搜索功能进行了更新，更加注重广告关键词的实时定位。借助基于最新网络数据训练的AI模型，TikTok有望进一步提升搜索体验，为广告商创造一个更加具有竞争力的环境。
总体来看，字节跳动通过Bytespider展现出的快速数据收集能力和AI技术的进步，不仅彰显了其迎头赶上的决心，更可能重塑整个搜索和AI行业的格局。特别是在TikTok庞大的用户基础支持下，这些努力有望为广告商带来更加精准、数据驱动的关键词和趋势定位机会。
