在高科技浪潮席卷全球的当下,一位富有冒险精神的程序员却选择了一条不同寻常的道路——将meta公司最新推出的Llama2大语言模型引入到了古老的DOS环境中。这位程序员名叫Yeo Kheng Meng,他因成功打造ChatGPT的DOS客户端而广为人知,此次他又一次展现了自己卓越的技术实力和创造力。
Meng的这一壮举,得益于开源社区的慷慨贡献。他利用了名为“llama2.c”的开源项目,该项目旨在简化Llama2模型在不同平台和硬件上的移植过程。然而,将这一先进的模型移植到DOS这样的老旧系统,绝非易事。尽管“llama2.c”项目已经为移植工作打下了良好基础,但Meng仍需面对DOS系统特有的种种挑战,进行大量的代码调整和优化。
在开发过程中,Meng遭遇了内存限制的难题。DOS系统的常规内存仅为640KB,这远远无法满足Llama2模型的运行需求。为了克服这一障碍,Meng精心选择了适合DOS系统的内存扩展工具,并巧妙地利用了这些工具来扩大可用内存。由于“llama2.c”项目需要一个功能强大的C编译器进行编译,Meng还对OWC编译器进行了深入研究和修改,以确保其能够顺利编译出适用于DOS系统的代码。
经过无数次的尝试和测试,Meng终于成功创建了一个能够在DOS系统上运行的Llama2二进制文件。为了验证其性能,他在多台不同配置的电脑上进行了基准测试,包括老旧的486DX266MHz计算机和现代基于Ryzen的台式机。测试结果显示,虽然新系统无疑提供了更快的推理速度,但令人意想不到的是,一台搭载1.7GHz Pentium M处理器的ThinkPad T42在性能上竟然超越了16年后发布的ThinkPad X13G1,这一发现引发了广泛的关注和讨论。