自学习AI把1GB维基百科无损压缩到105MB
IT时代网11月21日消息,研究员Tommy He构建的压缩工具tufazip,把1GB维基百科文本无损压缩到105.39MB,成为大文本压缩基准榜单上首个仅以神经网络作为唯一预测器的最佳条目。
榜单上排名更高的12个混合压缩器成绩都优于它,但那些方案全部混合了Transformer与手工构建模型,没有一个是纯神经网络的。tufazip的完整包在优化后为105.39MB,其中包含一个仅4.33MB的预训练小型启动模型,以低精度量化存储以节省空间,解包时必须用到。
完整模型是一个12层Transformer,启动模型只存储两个已训练的层,通过来回复制填满全部12层,每一份拷贝都在持续自行学习。它不像传统聊天机器人或云端AI,而是一个边压缩边在线学习的自包含语言模型。
此次压缩是无损的,意味着过程中没有任何数据丢失的风险,预测器更新必须完全确定性。训练分两个阶段:3400万参数的启动模型在任何压缩开始前离线训练;完整模型则在线学习,逐个预测token并训练,解包侧重复相同步骤,模型随文本一同重建。压缩或解压需要两块英伟达B200 GPU和大约一周时间。

本文配图由AI生成,文中包含AI辅助创作。
编辑:林一舟
THE END