搞AI的终于不用被算力卡脖子了!Meta开源的Llama 4能跑手机还完全可商用

昨天凌晨三点,我刷到大学睡我下铺的兄弟发的朋友圈,配的是他iPhone13的屏幕截图,屏幕上是一段两千多字的文字,讲的是他爷爷1965年跟着工程队修成昆铁路,在隧道里救了个战友的事。他配文说,把爷爷之前录的十几个小时的口述录音转成文字导进去,没用网,在手机上跑了二十分钟,生成的这段,连他爸看了都哭,说跟爷爷平时讲的一模一样,连当年战友的外号都没写错。我当时一下子就醒了,以为他偷偷用了什么付费的云端大模型,结果他说,就是Meta刚放出来的Llama4 Scout,轻量版,装在手机里,完全离线跑的,一分钱没花。

我之前也试过手机端的大模型,都是小米华为这些厂商内置的,最多问个天气设个闹钟,你要是给它喂个几万字的资料,要么直接告诉你超出限制,要么生成的东西驴唇不对马嘴,更别说离线跑了。这次Meta放出来的东西,完全不一样,除了这个能装在手机里的Scout,还有个叫Maverick的旗舰版,4050亿参数的MoE架构,我知道很多人看到参数就头大,我给你算个账,普通的网文作者写一辈子,可能也就写个几千万字,4050亿参数对应的训练数据量,差不多等于把从古至今所有出版过的中文书,全部读个十几遍还多。而且它用的MoE架构,不是说每次干活都把所有参数都用上,就像你家里有个二十人的装修队,修水管只叫水工,刷墙只叫漆工,平时用的时候只激活大概八分之一的参数,速度跟之前大家用的百亿参数的模型差不多,能力却直接摸到了闭源顶级模型的门槛。

之前大家公认的顶级大模型,就是OpenAI的GPT-4o,谷歌的Gemini Ultra,都是闭源的,你想用只能用他们的API,用多少交多少钱,不能改,不能部署在自己的地方,数据还要经过他们的服务器。这次Meta的Maverick,测下来的分数,在推理,数学,代码这些核心能力上,跟GPT-4o差不了几个百分点,部分任务甚至还反超,然后Meta直接把它开源了,只要你不是月活超7亿的超大型平台,随便用,随便改,随便商用,一分钱不用给Meta交。我昨天看个做AI创业的朋友发的状态,说上半年刚凑了几千万,租了几百张卡准备训个千亿级的模型,现在直接停了,把钱都拿过来买中文语料,准备微调Llama4,省下来的钱够烧三年。

我是真的佩服扎克伯格这一手,之前很多人说他搞元宇宙是疯了,现在看来,人家在下一盘大的,比很多人看的都远。我前阵子跟几个在硅谷Meta工作的朋友吃饭,他们说扎克伯格现在的思路,跟OpenAI的奥特曼完全走了两条路。奥特曼想把OpenAI做成AI时代的苹果,做闭源的高端生态,卖订阅卖服务,赚所有用户的钱。扎克伯格走的是当年谷歌做安卓的路,把最核心的技术免费放出来,让全世界的开发者都用,都帮他改,都基于他的东西做应用。很多人问Meta图什么,又不收钱,还得花几十亿美金训模型。你想当年安卓刚出来的时候,谷歌也不收钱,现在全世界80%的手机都跑安卓,谷歌靠搜索和广告赚的钱,比卖手机的都多。只要所有的AI开发者都用Llama,整个AI行业的标准就是Meta定的,不管你做什么应用,底层都是Llama的架构,Meta就永远站在行业的最上游,所有人的迭代都是在帮他优化模型,比他自己关起门来做,速度快十倍都不止。

这件事对国内AI行业的影响,可能比很多人想的都大。之前大家总说国内的大模型跟美国有差距,要追个三五年。这次Meta把这么强的模型直接放出来,相当于给国内所有的AI公司发了个满级的初始号,不用再从0开始练级了。之前训一个千亿参数的大模型,光算力成本就要几个亿,还得养几百个工程师做优化,没几个公司玩得起。现在你拿Llama4 Maverick过来,喂点中文的语料,做几个月的微调,几百万就能做出一个跟GPT-4o差不多的中文大模型,不管是大厂还是小创业公司,都玩得起。我昨天跟国内一个做大模型的朋友聊,他说之前他们团队熬了半年做的3000亿参数模型,本来准备下个月发布,现在直接回炉,基于Llama4重新做,能力至少能提升30%,成本还降了90%。当然了,也不是说国内的大模型就不用做了,恰恰相反,大家终于不用在底层模型上死磕了,可以把所有的精力都放在做应用上,放在怎么满足国内用户的需求上,这个才是真正的竞争力。

很多人可能会说,这些都是行业里的事,跟我一个普通人有什么关系。其实关系大了,而且是肉眼可见的,很快就能落到你自己的生活里。首先最直接的,就是你以后用的AI服务会越来越便宜,甚至免费。之前很多AI笔记,AI写作工具,每个月要收你几十块会员费,很大一部分成本是给OpenAI交的API钱,调用一次GPT-4o就要几分钱,用户多了成本根本扛不住。现在大家都用开源的Llama4,部署在自己的服务器上,调用成本只有之前的十分之一甚至更低,很多服务直接免费给你用都能赚钱,甚至以后你不用找服务商,自己在电脑上手机上就能跑,连会员费都省了。

然后是很多人都在意,但之前没的选的隐私问题。你要是想让AI帮你整理病历,分析财务数据,甚至梳理家里的家务事,你就得把这些很隐私的东西传给ChatGPT,传给文心一言的服务器,谁也不知道这些数据会不会被泄露,会不会被拿去训练模型。以后不一样了,你把Scout装在自己的手机里,所有的数据都在本地,不用联网,你想喂什么就喂什么,想怎么用就怎么用,不用担心任何人看到。比如你是做律师的,把客户的卷宗导进去,离线就能帮你整理辩护词,不用担心客户隐私泄露。你是做小生意的,把所有的进货价,客户信息导进去,离线就能帮你算利润,做报价,不用怕数据被竞争对手拿走。

我之前有个读者是乡镇的医生,他说每次下乡义诊,山里根本没有网,遇到拿不准的病例,只能翻之前存在手机里的PDF诊疗指南,很多时候翻半天都找不到对应的内容。现在要是把Scout装在手机里,把整个内科外科的诊疗指南,还有他这么多年积累的病历都导进去,遇到问题直接问,几秒钟就能得到答案,还不用联网,也不用担心病人的隐私传出去。还有个做外贸的读者,经常去东南亚的工厂出差,很多地方网很差,甚至没有网,之前要做报价写邮件,只能等回酒店有网了才能弄,现在把所有的产品资料,客户的过往订单都导进本地的Scout里,在工厂里就能离线写邮件做报价,效率至少提升一倍。这些场景,之前你想都不敢想,现在再过几个月,就能实实在在的用上。

我坦率讲,现在的Llama4还不是完美的,第一个问题就是中文能力还不够好,毕竟训练数据里大部分都是英文,对中文的理解,尤其是网络梗,方言,还有国内的政策法规这些,跟国内的大模型还有差距,国内的公司拿过来至少还要做三到六个月的微调,才能做出真正好用的中文版本。第二个问题是手机端的Scout,现在对手机的性能要求还是比较高的,要是你用的是三年前的旧手机,跑起来可能会很卡,生成一段文字要等半天,而且现在能装的工具还不多,普通用户想自己装还要费点功夫。还有一个大家都容易忽略的问题,开源是把双刃剑,好人能用,坏人也能用。之前的诈骗短信诈骗电话,还是人念的脚本,以后坏人拿Llama4训练个专属的诈骗模型,模仿你老板的语气,模仿你家人的声音,生成的内容跟真的一模一样,普通人根本分不出来。这个事我已经跟我家里人说了好几遍了,现在不管是谁让转钱,只要是线上说的,一律打电话确认,哪怕声音再像也不行,以后AI生成的声音,连亲儿子都分不出来。

这件事真正的影响,其实是把大模型的门槛砸没了。之前大家都觉得,大模型是巨头的游戏,只有阿里百度腾讯这种级别的公司,才有资格玩,普通人只能等着用他们做出来的服务。现在不一样了,小公司,甚至个人,都能用上顶级的大模型,还能自己改,自己部署。比如你是个开奶茶店的小老板,你可以把你家所有的饮品配方,过去两年的外卖订单,客户的评价都导进Llama4里,让它帮你设计新的饮品,帮你算每天要备多少料,甚至帮你写外卖平台的回复文案,成本只要几百块钱,之前你想都不敢想。比如你是个做自媒体的,你把你所有写过的文章,拍过的视频文案都导进去,就能生成一个跟你说话风格一模一样的AI分身,帮你回复粉丝的评论,帮你写新的脚本,甚至帮你开直播,之前要花几十万找团队做的事,现在几千块钱就能搞定。我前几天还看到个大学生,用Llama4做了个专门辅导高三学生数学的AI工具,只针对全国卷的考点,卖99块钱一个月,上线半个月就赚了十几万,要是在以前,他根本没有能力做出来这么强的工具。

你要是做小生意或者自由职业,现在就可以去搜搜一键部署Llama4的工具,比如现在很火的那个叫Ollama的,不用会写代码,跟着网上的教程走,十几分钟就能在自己的电脑上跑起来,把你平时用的业务资料导进去试试,哪怕现在生成的内容还有点生硬,早点摸清楚门道,等后面中文优化的版本出来,你就能比同行早大半个身位,这个时间差带来的优势,比你投多少广告费都管用。要是你是普通上班族,现在可以慢慢整理自己这么多年攒下的数字东西,工作文档,写过的笔记,甚至跟朋友家人的聊天记录,都分类存到自己的硬盘里,不用整理的多整齐,只要都存着就行,以后不用传去任何服务商的服务器,直接导进自己本地的AI里,就能得到一个全世界最懂你的专属助理,它记得你三年前跟客户谈过的每一个需求,记得你去年生日跟朋友吃了什么饭,甚至记得你大学时候写过的幼稚的诗,比任何通用大模型都好用。要是你家里有老人小孩,现在多录点大家聊天的视频声音,哪怕是饭桌上聊的陈芝麻烂谷子的事,哪怕是小孩牙牙学语的片段,都存起来,以后导进模型里,就能随时跟数字版本的家人聊聊天,听爷爷讲以前的故事,听小时候的自己说童言童语,这种价值,是多少钱都换不来的。你也不用怕自己不会用,就像二十年前大家都觉得上网是个技术活,现在连七八十岁的老人都能刷短视频拍抖音,AI工具只会越来越傻瓜,再过一两年,你买新手机的时候,系统里就会自带本地大模型,不用你自己折腾,只要把你存的资料导进去就行。

我之前很长一段时间,都觉得AI的未来会是几个巨头垄断的,所有人都要用他们的服务,把自己所有的数据都交给他们,就像现在的搜索引擎,大家都用百度谷歌,没得选。但这次Meta的操作,让我觉得AI的未来可能不是这样的,它会是分布式的,每个人都有自己的专属AI,所有的数据都在自己手里,不用交给任何巨头,你自己的数字生命,完完全全属于你自己。我还记得2010年的时候,安卓系统刚出来,大家都觉得诺基亚的塞班才是最好用的,苹果的iPhone太贵,普通人根本用不起,结果没几年,安卓就占领了全世界80%的手机市场,把智能手机的门槛砸到了几百块钱,让每一个人都能用上移动互联网。现在的Llama4,就是2010年的安卓,它可能不是最完美的,不是速度最快的,不是能力最强的,但它把最先进的AI技术,免费放到了每一个普通人的手里,接下来的五到十年,会有无数我们现在想都想不到的应用,从车库里,从出租屋里,从县城的小店里长出来,改变每一个人的生活。很多人总说,自己错过了互联网的时代,错过了移动互联网的时代,现在,下一个时代的门,刚刚打开了一条缝。

你今天随手存的一段家人的录音,明天可能就是你拥有的,最珍贵的数字资产。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~

谢谢你看我的文章,下次再见。

← 返回案例列表
分享:
🤖 Try Now →
🤖
🎁