OpenAI联创Karpathy爱上羊驼:纯C代码实现婴儿Llama2,MacBook可运行,已经揽1.6k星
编纂:杜伟
上个周末 ,联创Karpathy 花了全部周六来忙一个 Llama2 的爱上幽默名目。
这一周来,羊驼婴儿Meta 开源的代码 Llama2 火遍了全部 AI 社区 。
这不,实现连特斯拉前 AI 总监、可运年初重回 OpenAI 的行已k星 Andrej Karpathy 也坐不住了。他运用周末光阴,经揽做了一个对于 Llama2 的联创幽默名目 ——「llama2.c」。

GitHub 地址:https://github.com/karpathy/llama2.c
详细是爱上甚么呢 ?他展现「llama2.c」可能让你在 PyTorch 中磨炼一个 baby Llama2 模子,而后运用近 500 行纯 C、羊驼婴儿无任何依赖性的代码文件妨碍推理。而且,实现这个预磨炼模子可能在 M1 芯片的可运 MacBook Air 上以 fp32 的浮点精度、18 tok/s 的行已k星速率对于故事妨碍采样。
Karpathy 介绍称,「llama2.c」的灵感来自 llama.cpp,后者由资深开源社区开拓者 Georgi Gerganov 建树,可能在 MacBook 上运用 4-bit 量化运行第一代 LLaMA 模子。
对于「llama2.c」,它的磨炼代码由 nanoGPT 更正而来,用来磨炼 Llama2 架构的模子。中间是在如下 run.c 中编写 C 推理引擎 ,不外它当初并非一个破费级库 。下面是部份推理代码。

残缺代码地址 :https://github.com/karpathy/llama2.c/blob/master/run.c
服从令 Karpathy 颇为惊惶,你可能在(M1)CPU 的纯复线程 C 语言中以 fp32 的交互速率来推理更小(O (~10MB))的模子。
尽管,他展现自己不试验对于最小规模的 Llama2 模子(70 亿参数)妨碍推理,他估量速率会颇为慢 。

当初 ,Karpathy 在 M1 MacBook Air 上 ,可能以 fp32 的浮点精度、100tok/s 的速率对于 15M 参数的 288 6 层 6 头的模子妨碍推理。
之后 ,Karpathy 对于名目妨碍了更新,运用「-O3」妨碍编译可能将 M1 MacBook Air 上的 tok/s 从 18 削减到了 98。这还没完 ,运用「-funsafe-math-optimizations」妨碍编译更是将 tok/s 削减到 315。他展现,惟独在 gcc 命令中搜罗更多字符,速率就能提升 17.5 倍 。
概况你要问了,这个名目有甚么意思呢?在 Karpathy 看来 ,在一些较窄的规模(如天生故事)中 ,人们可能运用极其小的 Transformers 来做幽默的使命 。
因此,这种可能移植的纯 C 实现概况颇为实用,咱们可能经由重大的措施高交互速率地运行公平巨细的模子(多少万万参数) 。
有网友对于「llama2.c」的开拓历程很感兴趣 ,良多人都市有这样的想法,只是在期待适宜的机缘,他们没意见到多少天内就能实现良多使命。
Karpathy 回覆称,自己对于运用 float32 权重块及其上的重大推理代码来天生故事颇为感兴趣 。以是他花了全部周六的光阴(从起床不断到睡觉)来写代码,而后让名目使命。

此外,Karpathy 还展现自己将出教学视频。

名目概况
到当初为止,「llama2.c」名目已经在 GitHub 上取患了 1.6k 的 Stars,并在快捷削减。

下面重大介绍一下该名目的运行步骤。
为了运用纯 C 语言运行一个 baby Llama2 模子,你需要如下的模子魔难点 。下载 TinyStories 数据集上磨炼的一个 15M 参数的模子(约莫 58MB) ,并将它放入默认魔难点目录中 。
wget https://karpathy.ai/llama2c/model.bin -P out
而后编译并运行 C 代码 。
gcc -O3 -o run run.c -lm
./run out/model.bin
请留意这只是原始 tokens 流。遗憾的是,咱们如今必需经由一个重大的转换封装器来运行 C 代码(惟独 30 行)。
pip install sentencepiece
python run_wrap.py
最后你将看到文本流 。在 Karpathy 的 M1 MacBook Air 上,运行速率约 100 tok/s,对于超级原生的 fp32 复线程 C 代码来说还不错 。示例输入如下所示。

更多细节请魔难原名目。
(责任编辑:探索)
-
原创 0-3=出线!中超亚军拒绝爆冷,亚冠PK日本第2,13分稳拿第1
原标题:0-3=出线!中超亚军拒绝爆冷,亚冠PK日本第2,13分稳拿第1 亚冠联赛将在本周继续进行,东亚区的收官战将打响,其中,山东泰山队的表现备受关注,这支球队是中超的希望,很有机会打入东亚区 ...[详细]
-
原标题:父母发现孩子早恋怎么办 大黄蜂教育给家长支招 当自己的父母发现孩子早恋的时候,常常都会感觉到十分你的惊讶,焦虑或者是不知所措。这时候,父母需要冷静地去处理这件事,以保证了孩子的成长和健康 ...[详细]
-
950万,再见怯夫!你的顽强毁了金州,招供吧,库里为你负重前行
自从迈尔斯判断会辞掉怯夫经营总裁以及总司理的职务之后,简直所有人都不同以为怯夫会进入整理的阶段。看起来,作为多年的相助过错,迈尔斯简直很难处置如今怯夫的下场。搜罗追梦格林以及克莱的条约,他们多少多都需 ...[详细]
-
瑞士神锋100%进球率创奇迹领跑中超射手榜!37岁老将完成七大奇迹
今晚,中超联赛第12轮迎来关键战役,上海申花兵不血刃地客场1比0战胜降级大热门青岛海牛,重新反超成都蓉城,回到了联赛第二的宝座,紧紧追击领头羊上海海港。瑞士神锋100%进球率,称霸中超射手榜此役,虽然 ...[详细]
-
勇士2.1亿豪赌梦碎?汤神围巾下滑 库里进攻变孤星唱功烂得像混子,《声生不息3》一群神仙里掺个关系户,真招人厌
勇士在这个赛季的薪资总额又一次领跑联盟,飙升到了2.1亿美金,但是球队并没有展现预期的战斗力。汤普森和维金斯的下滑,成为勇士再次冲冠的障碍。 又一次被逆转,勇士曾经是最擅长逆转对手的球队之一,如 ...[详细]
-
如今,距离2024年11月的美国大选剩下不到17个月,来自美国两党的主要总统候选人阵容已经根基灰尘落定。当地光阴6月7日,美国前副总统彭斯正式宣告退出2024年总统竞选。至此,2024年美国大选已经有 ...[详细]
-
为依法表彰收集暴力违法立功行动,最高法、最高检、公安部起草了《对于依法表彰收集暴力违法立功的教育意见收罗意见稿)》,现向社会果真收罗意见。教育意见指出,实施收集暴力违法立功,具备如下天气之一的,理当从 ...[详细]
-
亚冠半决赛启示:非洲球星成为亚洲足球舞台的主角49岁陈奕迅被偶遇,满身肥肉、皮肤松弛,徐濠萦曾大骂偷拍者
体坛周报亚洲论坛 这届亚冠西亚区的决赛,非洲球员成为了比赛主角。 利雅得新月这边,伊哈洛大四喜,马雷加梅开二度,两人率队7:0横扫卡塔尔联赛领头羊杜海勒。而这场比赛虽然卡塔尔联赛第一神锋奥 ...[详细]
-
英超最新积分榜:国际第一联赛真乱,竟有五大奇观,到处是大哥!
英超联赛最新积分榜揭晓:全球瞩目的足球盛宴,五大奇观引人瞩目,各队实力悬殊,竞争激烈!在这场全球最高水平的足球联赛中,英超联赛以其独特的魅力吸引着无数球迷的目光。如今,随着赛季的深入,各大球队的实力差 ...[详细]
-
保罗下家赔率出炉湖人领跑 控卫之神依旧香饽饽邓紫棋彻底放飞自我了?穿比基尼出镜秀身材,身高160比例却很优越,身材真带感
体坛周报全媒体记者 李辉 根据媒体此前的报道,太阳正在考虑裁掉克里斯·保罗,于是乎,保罗下家的赔率日前也宣告出炉,其中湖人暂列榜首,排在第2位的是达拉斯独行侠。 具体如下: 湖人 3 ...[详细]
- 马刺出品必属精品!文班教练:他去马刺可太好了奥尼尔约会小20岁花魁!身材火辣,体型悬殊大,NBA又乱辈分了
- 梅西和拉莫斯告别战!法甲-姆巴佩点射 巴黎2-3遭大逆转《人民的名义》同样是副部级,为什么季昌明要听高育良的命令?
- 民间:本菲卡与奥塔门迪续约至2025年
- 中国队第二阶段乐成开局
- 原创 搞笑段子精选:世界上最厉害的魔术师是妈妈
- 多特蒙德VS切尔西:波特迎来大场面,大排档厨子能否做好国宴?舒淇身材保养得真好,一袭黑色铅笔裙亮相,展现完美的“腰臀比”
- 张玉宁替身浮现!法甲冠军锋霸今夏有望加盟中超,与国安再续前缘确认!知名男演员暂停录制!已涉嫌刑事犯罪…
- 中游球队集体爆发推动格局巨变 英超完成破局一季唐僧念的紧箍咒究竟是什么,翻译成中文只有六个字,换你也头疼
- 沿黄遨游路自行车赛用车轮串起黄河岸“明珠”
- 逐日之星