【JIUYOU科技动静】日前，google首席履行官Sundar Pichai公布开源最新多模态年夜模子Ge妹妹a-3，主打低成本与高机能。Ge妹妹a-3提供四种差别参数范围的版本，别离为10亿、40亿、120亿及270亿参数。即便于参数目最年夜的270亿版本中，仅需一张H100显卡便可实现高效推理。比拟之下，同类模子若要到达近似效果，至少需要晋升10倍算力。是以，Ge妹妹a-3也是今朝机能最强的小参数模子之一。

于机能测试方面，按照LMSYS ChatbotArena的盲测数据，Ge妹妹a-3的体现仅次在DeepSeek的R1-671B，优在OpenAI的o3-mini及Llama3-405B等知名模子。

于架构设计上，Ge妹妹a-3延续了前两代的通用解码器Transformer架构，并举行了多项立异及优化。为解决长上下文带来的内存占用问题，Ge妹妹a-3采用了局部及全局自留意力层交错的架构：每一5个局部层之间插入1个全局层，局部层的跨度仅为1024个token。因为只有全局层卖力处置惩罚长上下文，局部层仅存眷1024个token的小跨度，从而有用降低了内存占用。

多模态能力是Ge妹妹a-3的一年夜技能亮点。该模子可以或许同时处置惩罚文本及图象，并集成为了定制版的SigLIP视觉编码器。这一编码器基在Vision Transformer架构，经由过程CLIP丧失的变体举行练习。

为了评估Ge妹妹a-3的机能，google于MGSM、Global-MMLU-Lite、WMT24++、RULER、MRCR等多个主流平台举行了测试。成果显示，Ge妹妹a-3于多模态使命中体现精彩，例如于DocVQA、InfoVQA及TextVQA等使命中，其机能显著优在前代模子。于长文本处置惩罚方面，270亿参数版本的Ge妹妹a-3于RULER128K使命上到达了66.0%的正确率。

版权所有，未经许可不患上转载