世界上最小的模型诞生

stripe-1-flash 发布

地址在：https://huggingface.co/dew6/stripe1flash-mountain

相信任何一个设备都可以随便运行使用

简介：stripe1flash mountain —— 一只 0.000001B 的模型

参数量：982。

不是 982B，不是 982M，是 982 个参数。全部权重一个 JSON 文件就能装下，GGUF 版只有 4.9 KB——可能是 Hugging Face 上最小的 GGUF。

它知道 24 个字符，读过一页关于猫、狗和太阳的英文。它见过的一切都来自那页纸。它有时候会拼出 "mand" 和 "cate" 这样的词，但它的每一个字节都是自己挣来的：前向传播、反向传播、Adam，全部手写，只用 numpy。

训练 25 秒，loss 从 3.18 降到 0.59。它写出的句子语法半通不通，但你能看出它真的在学。

是的 最小！！！！！！！

这是 mountain 发布的

最小也是纯粹的第一个模型

文章