OVH开源发布AI模型Olala mini 7A1B
IT时代网11月17日消息,欧洲云服务企业OVHcloud当地时间今日宣布推出其首个AI模型家族Olala,并公布该系列的首个成员Olala mini 7A1B,模型以Apache 2.0许可开源发布在Hugging Face上。
Olala mini 7A1B采用结合了Differential-TPA和Mamba-3的混合注意力机制,总参数70亿、激活参数10亿,使用BF16数据格式。该模型可在8GB显存的GPU上运行,在RTX A4500上可实现160 TPS的词元吞吐量,仅CPU平台也能实现50 TPS。
OVH表示,Olala mini 7A1B在三台欧洲公共超级计算机上利用NVIDIA的GH200、A100、H100训练而成,总开销达700万欧元。模型初始版本上下文长度为32K,预计今年底推出的1.1版本将扩展至128K上下文,并具备更好的数学能力。
OVH后续将持续开发AI模型,Olala 2.0的参数规模将超过100B。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。
编辑:林一舟
THE END