开云体育新闻

　　多模态设计：Gemma 3n 原生支持图像、音频、视频和文本输入和文本输出。专为设备端优化：Gemma 3n 型号以效率为设计重点，提供两种基于有效参数尺寸：E2B 和 E4B。虽然它们的原始参数数量分别为 5B 和 8B，但架构创新使其运行内存占用与传统的 2B 和 4B 型号相当，仅需 2GB (E2B) 和 3GB (E4B) 内存即可运行。架构突破：Gemma 3n 的核心是全新组件，例如用于计算灵活性的 MatFormer 架构、用于提高内存效率的每层嵌入 (PLE) 以及针对设备用例优化的新型音频和基于 MobileNet-v5 的视觉编码器。质量提升：Gemma 3n 在多语言（支持 140 种文本语言和 35 种语言的多模态理解）、数学、编码和推理方面均实现了质量提升。E4B 版本的 LMArena 得分超过 1300，使其成为首个达到此基准的 100 亿参数以下模型。

　　预提取模型：开发者可以直接下载并使用 E4B 模型以获得更高性能，或者使用已提取的独立 E2B 子模型，提供两倍更快的推理速度。使用 Mix-n-Match 自定义尺寸：为了根据特定硬件限制进行更精细的控制，你可以使用谷歌称之为 Mix-n-Match 的方法，在 E2B 和 E4B 之间创建一系列自定义尺寸的模型。这项技术允许人们精确地对 E4B 模型的参数进行切片，主要通过调整每层的前馈网络隐藏层维度（从 8192 到 16384）并选择性地跳过某些层来实现。谷歌还将发布 MatFormer Lab，以展示如何检索这些最佳模型，这些模型是通过在 MMLU 等基准测试中评估各种设置而确定的。