大模型反卷小型化-2024全球领先轻量级通用语言模型统计(参数量≤8B)

轻量级通用语言模型统计纯数据,欢迎使用:

机构模型参数规模上下文长度
Ai2OLMo1B, 7B2048
MiniCPMMiniCPM1.2B, 2.4B4096, 128k
面壁智能MiniCPM-S1.2B未披露
Qwen1.5Qwen1.50.5B, 1.8B, 4B, 7B32k
阿里巴巴Qwen20.5B, 1.5B, 7B32k, 128k
Gemma 1Gemma 12B, 7B8192
GoogleGemini 1.5 Flash未披露1M
Gemma 2Gemma 22.6B8192
ANTHROPICClaude 3 Haiku未披露200k
InternLM2InternLM21.8B, 7B200k
商汤InternLM2.57B200k, 1M
MoMetaLlama 38B8k
OpenELMOpenELM270M, 450M, 1.1B, 3B2048
DCLMDCLM7B2048, 8192
MicrosoftPhi-33.8B, 7B4k, 8k, 128k
MAP-NeoMAP-Neo7B8192
Hugging FaceSmolLM135M, 360M, 1.7B2048
openAlGPT-4o mini未披露128k

请注意,有些参数规模和上下文长度未披露,因此在表格中标注为“未披露”。

Related Posts

国产大模型逆袭之路 精华浓缩

今天,本站给大家带来一份特别的报告——《国产大模型逆袭之路》。这份报告,不是简单的数据堆砌,而是一场关于技术、智慧和勇气的深度剖析。

20240723

#每日信息差@20240724#科技界的新鲜事

近日科技产业的最新动态

跨境电商隐私合规:保护数据,赢得未来

在数字化浪潮席卷全球的今天,数据已成为推动社会进步和经…

数据产品化引领数字化转型,上海数据交易所举办专题活动

数据产品化引领数字化转型,上海数据交易所举办专题活动 …

萝卜快跑 专家级的分析

无人驾驶在中国武汉的应用 专家级分析建议

《华为:智能世界 2030》的精髓解说

《华为:智能世界 2030》深入探讨了未来十年在医疗、…

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注