久冉科技

热点

民生证券:LLaMA 3开源或推动国内算力需求与应用发展

时间:2024-04-22 12:08 阅读:

  民生证券发布研报称,2024或是AI应用的线的发布使得开源大模型SOTA对标,具有真正强生产力的AI应用或百花齐放,AI终端重构、算力国产化这三大新方向孕育重要机遇。

  民生证券主要观点如下:

  LLaMA 3大模型发布,目前已经发布8B/70B版本,其中70B版本性能已经超过早期版本GPT4,未来还将进一步发布400B版本。

  据Meta官网,LLaMA 3是同类产品中最好的开源模型,在真实世界场景测试集回答结果人类偏好排名中成为新的SOTA。此外,据Hugging Face第三方大模型跑分测评数据,LLaMA 370B性能已经超过部分早期版本GPT4。据Meta官网,LLaMA 3400B版本正在训练中,或与多模态LLaMA 3在未来几个月内发布。

  GPT4级别的开源大模型或带动AI应用进入强生产力时代。

  民生证券将AI应用与大模型的关系分为三个阶段,并通过Notion的发展趋势进行映射说明:

  2)大模型性能处于GPT3.5-4之间:此时AI已经具备相当的智能,已经具备打通底层数据、从单产品到多产品自动化流程的能力,此时Notion AI已经可以读取当天的笔记内容进行总结或者列出接下来要做的事情、对销售团队一周工作做一个总结并列出下周要做的待办事项ActionItems等。

  3)大模型性能超过GPT4:此时AI已经具备较强智能,可以作为强大生产力,MS 365 Copilot展示出的打通全部工作流,让AI替代人类完成各类SaaS碎片、繁杂的操作流程,Notion CEO预计在未来的5到10年时间,Notion可能成为世界的前端基础设施,Notion负责、通知和权限,用户想做的任何软件,都可以通过Notion来构建。

  LLaMA 3的成功,对于训练数据、AI算力、算法开发等环节也有较多借鉴意义。

  Llama3在超过15T的token上进行了预训练,训练数据集是Llama2的七倍,包含的代码数量也是Llama2的四倍,同时使用数据过滤技术保证训练数据高质量;此外,LLaMA在两个定制的24KGPU集群上进行训练,还通过自动检测、处理和维护错误技术使总体有效训练时间缩短了95%以上,是LLaMA2训练效率的三倍;算法上,LLaMA 3创新性使用监督微调、拒绝采样、近似策略优化和直接策略优化等技术。

  1)政策落地不及预期:目前国产软硬件在产品性能和生态上都尚且不及国外巨头,但受益于国产化政策推动市场份额连年提升,若后续国产化支持政策落地进度不及预期,可能会导致国产软硬件推进进度变慢,影响公司业绩增长前景。

  2)行业竞争加剧:目前国产软硬件尚未呈现出清晰的格局,芯片、数据库、操作系统等行业仍处于高度竞争状态,若后续行业竞争加剧,可能会影响公司的毛利率水平,进而影响相关公司的盈利能力。