OpenAI联创Karpathy爱上羊驼:纯C代码实现婴儿Llama2,MacBook可运行,已经揽1.6k星
编纂:杜伟
上个周末 ,联创Karpathy 花了全部周六来忙一个 Llama2 的爱上幽默名目。
这一周来,羊驼婴儿Meta 开源的代码 Llama2 火遍了全部 AI 社区。
这不 ,实现连特斯拉前 AI 总监、可运年初重回 OpenAI 的行已k星 Andrej Karpathy 也坐不住了。他运用周末光阴,经揽做了一个对于 Llama2 的联创幽默名目 ——「llama2.c」 。

GitHub 地址 :https://github.com/karpathy/llama2.c
详细是爱上甚么呢?他展现「llama2.c」可能让你在 PyTorch 中磨炼一个 baby Llama2 模子,而后运用近 500 行纯 C 、羊驼婴儿无任何依赖性的代码文件妨碍推理。而且,实现这个预磨炼模子可能在 M1 芯片的可运 MacBook Air 上以 fp32 的浮点精度、18 tok/s 的行已k星速率对于故事妨碍采样。
Karpathy 介绍称 ,「llama2.c」的灵感来自 llama.cpp ,后者由资深开源社区开拓者 Georgi Gerganov 建树,可能在 MacBook 上运用 4-bit 量化运行第一代 LLaMA 模子。
对于「llama2.c」 ,它的磨炼代码由 nanoGPT 更正而来 ,用来磨炼 Llama2 架构的模子 。中间是在如下 run.c 中编写 C 推理引擎,不外它当初并非一个破费级库。下面是部份推理代码 。

残缺代码地址 :https://github.com/karpathy/llama2.c/blob/master/run.c
服从令 Karpathy 颇为惊惶,你可能在(M1)CPU 的纯复线程 C 语言中以 fp32 的交互速率来推理更小(O (~10MB))的模子。
尽管 ,他展现自己不试验对于最小规模的 Llama2 模子(70 亿参数)妨碍推理 ,他估量速率会颇为慢 。

当初,Karpathy 在 M1 MacBook Air 上,可能以 fp32 的浮点精度、100tok/s 的速率对于 15M 参数的 288 6 层 6 头的模子妨碍推理。
之后 ,Karpathy 对于名目妨碍了更新,运用「-O3」妨碍编译可能将 M1 MacBook Air 上的 tok/s 从 18 削减到了 98。这还没完,运用「-funsafe-math-optimizations」妨碍编译更是将 tok/s 削减到 315。他展现,惟独在 gcc 命令中搜罗更多字符 ,速率就能提升 17.5 倍 。
概况你要问了,这个名目有甚么意思呢?在 Karpathy 看来,在一些较窄的规模(如天生故事)中,人们可能运用极其小的 Transformers 来做幽默的使命。
因此,这种可能移植的纯 C 实现概况颇为实用 ,咱们可能经由重大的措施高交互速率地运行公平巨细的模子(多少万万参数)。
有网友对于「llama2.c」的开拓历程很感兴趣 ,良多人都市有这样的想法,只是在期待适宜的机缘 ,他们没意见到多少天内就能实现良多使命。
Karpathy 回覆称 ,自己对于运用 float32 权重块及其上的重大推理代码来天生故事颇为感兴趣。以是他花了全部周六的光阴(从起床不断到睡觉)来写代码,而后让名目使命。

此外,Karpathy 还展现自己将出教学视频。

名目概况
到当初为止,「llama2.c」名目已经在 GitHub 上取患了 1.6k 的 Stars,并在快捷削减 。

下面重大介绍一下该名目的运行步骤。
为了运用纯 C 语言运行一个 baby Llama2 模子 ,你需要如下的模子魔难点。下载 TinyStories 数据集上磨炼的一个 15M 参数的模子(约莫 58MB),并将它放入默认魔难点目录中 。
wget https://karpathy.ai/llama2c/model.bin -P out
而后编译并运行 C 代码。
gcc -O3 -o run run.c -lm
./run out/model.bin
请留意这只是原始 tokens 流。遗憾的是 ,咱们如今必需经由一个重大的转换封装器来运行 C 代码(惟独 30 行)。
pip install sentencepiece
python run_wrap.py
最后你将看到文本流。在 Karpathy 的 M1 MacBook Air 上,运行速率约 100 tok/s ,对于超级原生的 fp32 复线程 C 代码来说还不错 。示例输入如下所示。

更多细节请魔难原名目。
(责任编辑:百科)
5人稳定爆发!湖人迈进争冠行列,战绩即将超掘金!还需要交易吗
拼多多的三个“百亿”,潜在“质变”实力
骑士主帅:第一次对于话米切尔就恳求我,让
5年2.72亿,欧文示好老詹!火箭引援计划出炉,塞拉斯找到新工作出轨被“捉奸”在床的女明星,因出轨有被丈夫毒打的,看看都是谁
黄蜂蜡作用及食用方法
- 尘埃落定!浙江队被剥夺亚冠资格悬念揭晓,来看看名记传来的消息哥哥是皇帝,大伯是光绪,奶奶是慈禧,他却非常低调地活到2015年
- 篮网出局却看到希望,管理层:我们可以招募利拉德成为冠军竞争者黑丝 包臀裙,显然,小姐姐是懂怎么撩人的
- 米兰双雄进欧冠!意甲大结局:那不勒斯时隔33年加冕同样是李连杰基因,把黄秋燕和利智女儿一对比,差距就出来了
- 凌晨3点欧会杯决赛!英超劲旅拼了:夺冠=58年神迹+200万奖金
- 明日大对决,湖人被全球看好,但步行者或将实现大逆袭
- 拒绝湖人,欧文招募詹姆斯!詹欧若重新联手,独行侠要起飞邓紫棋彻底放飞自我了?穿比基尼出镜秀身材,身高160比例却很优越,身材真带感
- AC米兰顶薪续约莱昂,违约金1.75亿且仅供夏窗激活68岁名帅下课!英超保级失败,25天赚50万,连带2队降级
- 女性保健措施有哪些?养生要做好女性更年期保健
-
长春亚泰VS山东泰山:泰山全力争三分,为争冠做最后努力非洲女孩巴特曼因有巨臀,一生被赤身裸体展览,死后还被做成标本
中超联赛第28轮,长春亚泰队坐镇主场迎战山东泰山队。本场比赛对于山东泰山队来说,是非赢不可的比赛。如果山东泰山队最终取得了胜利,球队还可以把争冠的希望延续几个小时。如果山东泰山队无法取胜,甚至输掉比赛 ...[详细]
-
30多位跑友穿假肢跑呼和浩特半马赛,队员:想让大家知道我们穿假肢也可以走得很好迪丽拉:靠108刀整成芭比,富豪豪掷400万,上节目卸妆惊艳所有人
5月21日,内蒙古呼和浩特半程马拉松赛呼和浩特半马赛)正式开赛,本次比赛以“活力半马·美丽青城”为主题,共分为半程马拉松21.0975公里)和欢乐跑6公里)2个组别。 比赛当日正是第33次全国助残日, ...[详细]
-
杰伦布朗加入纽约?美媒列出尼克斯队2023年休赛季的最佳补强目标
纽约尼克斯队在2022-23赛季获得贾伦布伦森之后,球队的进攻发生了巨大的变化。而且他们还获得了防守悍将约什哈特,这让他们成为了东部最好的球队之一。虽然他们在季后赛首轮轻松击败了克利夫兰骑士队,但是在 ...[详细]
-
全天下首架载人“飞碟”在深圳着落:水陆两栖起降 最快50km/h
快科技6月5日新闻,克日在深圳强人公园,全天下首架载人“飞碟”正式着落,排汇了良多人关注。据“深圳宣告”介绍,这架“飞碟”产自深圳,是一款垂直起降飞碟载人飞翔器,来自深圳幽浮飞碟科技有限公司,在深圳南 ...[详细]
-
法甲榜首大战互捅7球!登贝莱处子球,唐纳鲁马自救1966年,西方记者刁难周总理:“世界上最美的女人是谁?”总理一句话让对方语塞
体坛周报全媒体记者 托克罗 巴黎5比2大胜摩纳哥,但摩纳哥主帅许特尔输得并不服气,赛后他表示本队“进了4个乌龙球”,“我们丢了5个球, 其中4个球是我们自己的失误,我把它们看做我们自己的乌龙球。 ...[详细]
-
06月07日讯 今日美国媒体Statmuse更新动态,分享本赛季季后赛至今造侵略犯规排名。1. 德雷蒙德-格林怯夫),8次2. 马克斯-斯特鲁斯热火),6次3. 盖布-文森特热火),5次4. 凯文-乐 ...[详细]
-
据西班牙媒体《马卡报》援用《Relevo》的报道,塞维利亚体育总监蒙奇思考去职,他以为自己已经患上到了他在俱乐部的位置,感应被取代了。该媒体展现,尽管蒙奇与塞维利亚之间仍有条约,可是蒙奇正在子细思考第 ...[详细]
-
超级黑!热火96-92战胜尼克斯,大比分4-2晋级东决,巴特勒轰24+8
北京时间5月13日,NBA季后赛东部半决赛G6,热火主场作战以96-92击败了尼克斯,大比分4-2率先晋级东部决赛,延续黑八的状态,本场比赛热火悍将巴特勒轰下24+8的数据,接下来热火将静候76人和凯 ...[详细]
-
步行者vs活塞前瞻:哈利伯顿期待魔法奇迹,20连败在向活塞招手?
北京时间12月12日上午8:00,NBA常规赛继续进行,活塞主场迎战步行者。19连败的活塞持续刷新着队史连败纪录,目前2胜20负排名东部倒数第一,场均得分108分,排名联盟倒数第三位,场均丢分118. ...[详细]
-
火箭队拟订B妄想?哈登若留费城,今夏可追5大控卫!斯通相机行事
请来了乌度卡教练之后,火箭队在一个月的光阴里不断引进新教练,先是罗伊-埃维退出了火箭队教练组,接着火箭队挖来了凯尔特人队的3位助教。尚有新闻展现,火箭队还规画留下助教约翰-卢卡斯,而且对于前黄蜂队主帅 ...[详细]
- 不是浓眉,不是斯玛特!马刺的反向榜眼,才是最佳防守球员4年3.4亿!原以为抱两个大腿争冠,没想到,一不小心自己成了大腿
- 天下本领大赛交通运输行业提升赛 广州举行
- 港股公告掘金 | 这家生物医药公司可转债问题解决 引入战略投资者邓紫棋彻底放飞自我了?穿比基尼出镜秀身材,身高160比例却很优越,身材真带感
- 看一看海边的曼彻斯特“魏和尚”张桐的消失,毫无疑问是整个影视圈的悲哀与损失
- 扎卡梅开二度!英超-热苏斯传射 阿森纳收官战5-0《亮剑》选角有多难?李幼斌张光北接连拒演,何政军却不满要换角
- 原创 不惧流言!周琦晒赴纽约机票 这或是他重返NBA的最后机会
- 4年2.24亿易主?唐斯&泰勒电话沟通中发生激烈争吵!再见森林狼!
- 美媒支招湖人做3换1生意,22+4先锋值患上谋求,他是极品三当家
- 《魔术师的奇遇》,我国第一部彩色“3D大片”被华谊老板“摸胸抱”,离婚后的杨颖,如今过得怎样
- 哈曼:拜仁须尽快签体育总监,下赛季若开局不顺患上有人来呵护教练