傅盛的大模型,只做百亿级,这是为啥

出品|网易科技《态度》栏目UQ3搜集对生活有用的优质文章

作者|丁广胜UQ3搜集对生活有用的优质文章

CEO永远是最后一个知道公司倒闭的人。UQ3搜集对生活有用的优质文章

这句话来自杰克·韦尔奇,他被称为全球第一CEO。傅盛引用表达人工智能变革的关键在“一把手”。UQ3搜集对生活有用的优质文章

顺着这个思路,傅盛希望带着猎户星空,在大模型时代,找到“Think Different”,服务CEO们。UQ3搜集对生活有用的优质文章

他说卷的思维模式是Think Better,创新的思维是Think Different,找到不同,是他给大模型定下的路径。UQ3搜集对生活有用的优质文章

为了教会“一把手”用好大模型,傅盛用了两个小时,从科技史讲起,高声呼喊着:UQ3搜集对生活有用的优质文章

超越OpenAI的机会一定来自大模型应用公司!未来,董事会应该考核CEO使用AI的时长!UQ3搜集对生活有用的优质文章

不做千亿级大模型,百亿就能用好用UQ3搜集对生活有用的优质文章

傅盛希望揭穿OpenAI的“阳谋”。UQ3搜集对生活有用的优质文章

“做出自己的千亿大模型,就一定能取得商业上的成功吗?如果技术没有和产品、应用形成闭环,再多技术投入都不能形成壁垒。”UQ3搜集对生活有用的优质文章

傅盛分析,现在大模型之路主流的模式,是砸钱预训练千亿级模型,微调,然后寻找应用场景。而猎户星空AI大模型创新以Think Different思维逻辑,在已知应用场景后,再微调,然后寻找合适的模型。UQ3搜集对生活有用的优质文章

“千亿大模型过半凋零,私有化百亿大模型百花盛开。”他作出判断。UQ3搜集对生活有用的优质文章

所以,猎户星空的战法,就是聚焦百亿大模型,主打够用,然后拼场景。UQ3搜集对生活有用的优质文章

行业惯例,先看跑分。UQ3搜集对生活有用的优质文章

傅盛说猎户星空的跑分是“素质教育”,坚决不刷题,真真实实。并且已经达到了媲美千亿大模型的能力。UQ3搜集对生活有用的优质文章

具体来看,猎户星空大模型Orion-14B,有140亿参数规模,Orion-14B模型在一个庞大且多样化的数据集上进行训练,数据集规模达到了2.5万亿token。UQ3搜集对生活有用的优质文章

这一规模不仅覆盖了常见语言,还涵盖了专业术语和特定领域知识,确保模型能够理解和生成多种语境下的文本。UQ3搜集对生活有用的优质文章

Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别模型SOTA。UQ3搜集对生活有用的优质文章

傅盛的大模型,只做百亿级,这是为啥UQ3搜集对生活有用的优质文章

140亿参数,以小博大。第三方OpenCompass综合测评总分中,700亿以下参数基座模型中文数据集排名第一。UQ3搜集对生活有用的优质文章

傅盛的大模型,只做百亿级,这是为啥UQ3搜集对生活有用的优质文章

实现长文本中“大海捞针”,最长可支持320K token 超长文本,一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息,对模型进行提问,结果正确。UQ3搜集对生活有用的优质文章

傅盛的大模型,只做百亿级,这是为啥UQ3搜集对生活有用的优质文章

与此同时,通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,可在千元级显卡可以流畅运行,在NVIDIA RTX 3060显卡实测,推理速度31 token/s (约每秒50汉字)。UQ3搜集对生活有用的优质文章

千元级显卡运行,这在希望尽快利用大模型降本增效的企业面前,非常有吸引力。UQ3搜集对生活有用的优质文章

傅盛的大模型,只做百亿级,这是为啥UQ3搜集对生活有用的优质文章

傅盛希望自己的业务先用起来,在机器人业务做得比较好的日韩市场,有了大模型的改造,要把人机对话“智障”的痛点给补上。从发布的评测结果来看,日文为JNLI等8项评测集平均得分;韩文为COPA等4项评测集平均得分;中文英文为OpenCompass对应语言评测集平均得分。UQ3搜集对生活有用的优质文章

这还不够,傅盛除了证明百亿级“能用”,还需要证明“好用”。UQ3搜集对生活有用的优质文章

他的思路是,打磨两个方向,检索增强生成(RAG)和Agent。UQ3搜集对生活有用的优质文章

即所有基于大模型搭建好的应用,想要获取实时数据,都需要建立在检索增强生成(RAG)技术之上,RAG能力微调模型 (Orion-14B-RAG)使企业能够快速整合自身知识库,构建定制化的应用。UQ3搜集对生活有用的优质文章

换句话说,猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调,要使之成为最适合开发RAG应用的底座模型。UQ3搜集对生活有用的优质文章

除了RAG,大模型应用可能拓宽的另一条重要路径,便是Agent。傅盛说,猎户星空大模型的Agent应用所需的五项能力包括意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用,都已经接近了GPT-4的水平。UQ3搜集对生活有用的优质文章

大模型创造了人类历史的第三个科学奇迹年UQ3搜集对生活有用的优质文章

产品之外,傅盛讲述了他的思考过程。UQ3搜集对生活有用的优质文章

傅盛讲道,2023是人类历史的第三个科学奇迹年,第一次是1666年,牛顿开辟光学,创立微积分推导出引力公式,第二次是1905年,爱因斯坦发表狭义相对论、质能方程等四篇论文,第三次就是现在,2023年,GPT引领AI浪潮,技术的底层范式发生了重大变化。UQ3搜集对生活有用的优质文章

“底层范式正在改变,智能和技术“涌现”,新的创新机遇开启”,傅盛提到,AI将带来整合社会的底层重构,只靠勤奋,没有办法让自己NB起来,同质化的勤奋只会更卷,不同的道路才可能胜出。UQ3搜集对生活有用的优质文章

“卷的思维模式是Think Better,创新的思维是 Think Different”,他认为,Think Different是创新的不二法门。UQ3搜集对生活有用的优质文章

傅盛对ChatCPT出现的时刻记忆犹新,那天是2022年11月30日,他当时正在美国,ChatCPT横空出世,震惊世界,AI进入2.0时代,彻底开启生产力革命。UQ3搜集对生活有用的优质文章

当这一切发生,傅盛不停思考,什么才是属于自己的Think Different,在千家万户都做大模型的时候,他就在想,训练千亿大模型是必须的吗?训练千亿大模型本质上是资本的投入,一次训练,上千万美金,数月周期,是不是值得?UQ3搜集对生活有用的优质文章

他没有听团队的劝说,最关心的点依旧放在了如何做场景落地。UQ3搜集对生活有用的优质文章

超越OpenAI的机会来自大模型应用公司UQ3搜集对生活有用的优质文章

傅盛和金沙江创投董事总经理朱啸虎曾有过一个争论,争论的核心在于,大模型到底是不是创业者的机会。UQ3搜集对生活有用的优质文章

傅盛坚定的认为,硅谷已经有了人工智能应用一条街,这是属于应用的时代,属于创业者的机会,每个人都应该乘势而上。UQ3搜集对生活有用的优质文章

他还给出路径,把企业用AI总结成三个段位:UQ3搜集对生活有用的优质文章

第一,青铜,大家都要用。考察每个人用大模型的问句时长,每天用多少句话不达标,但发现这个更适合做文案的公司。UQ3搜集对生活有用的优质文章

第二, 黄金,例如公司有一个行政文档,员工守则、请假条例,把它灌到大模型里,问它来公司一年,想请三天假是否可以,或者明天要出差去太原,根据公司的差旅标准,可以报销多少钱的住宿,这一类就是今天被行业内广泛提的“数字员工”。UQ3搜集对生活有用的优质文章

第三,王者,企业全过程的经营数据由AI参与,使得AI可以直接给你提经营决策,比如今天该不该发布一个产品,哪些费用可以被减少,哪一个地方的工作需要加强。企业最大的成本不是用工成本,而是经营错误的成本,所以企业要想真正用好AI,应该是全流程、全数据化,完成“数字老板”,这件事情必须做到真正的流程重构。UQ3搜集对生活有用的优质文章

傅盛的结论斩钉截铁,超越OpenAI的机会一定来自应用创业者!UQ3搜集对生活有用的优质文章


UQ3搜集对生活有用的优质文章

UQ3搜集对生活有用的优质文章

本文系网易科技原创报道,更多新闻资讯和深度解析,关注我们。UQ3搜集对生活有用的优质文章

UQ3搜集对生活有用的优质文章

UQ3搜集对生活有用的优质文章

也许你还喜欢

购买二手电话卡的真实日记,销售已实

今天、去购买手机卡时,我出示过期身份证给工作人员办理电话卡,工作人员表示,过期的身份证

www.awcg.fun吃瓜网-51吃瓜-暗网吃

“暗网吃瓜爆料网站”正是您探索事实、深入新闻背后的绝佳平台

印度首位人形AI女教师“正式上岗”

据了解,“爱丽丝”由印度Makerlabs教育科技公司开发

预装鸿蒙OS!华为Mate 40 Pro 4G通过

日前,华为Mate 40 Pro 4G版与Mate X2 4G版悄然上架华为官网,除不支持5G网络外,其他配置均

戴森推空气净化风扇系列:全新传感技

如今,全球数以百万的人们待在家里的时间越来越多。全新戴森Dyson Purifier Formaldehyd

华为路由H6来了:Wi-Fi信号无死角覆

去年年底,华为正式提出了全屋智能的概念。今年4月的全屋智能新品发布会上,华为将全屋智

开发者进阶车联网,卡佐科技CDO王征

文 | 曾响铃 来源 | 科技向令说(xiangling0815) “电话里说不清楚,直接到现场给你们解决

这款苹果产品终于有国行版了

果粉俱乐部 让科技更好的服务生活 点击上方「蓝字」加入我们 苹果在 4 月 21 日举行的

OPPO K9配置参数全揭晓:骁龙768G/90

4 月 27 日消息,虽然距离 5 月 6 日 OPPO K9 的发布会还有一个多星期的时间,不过目前 OP

vivo蔡司影像展的背后,一个全新的影

深海里成群结队的水母闪烁出的点点蓝色荧光,博物馆里三星堆青铜面具上的局部光,暴雪中马