OPS2.0发布,大模型走向端侧的重要一块“拼图”

更新时间:2024-04-26 01:56:58作者:无忧百科

OPS2.0发布,大模型走向端侧的重要一块“拼图”


今年以来,科技巨头们终于将目光投向了行业侧、端侧。360集团创始人、董事长周鸿祎曾指出,在具体的落地场景上,在把大模型做“大”的同时,做“小”也是一个重要的趋势,使大模型能够搭载在手机、电脑,各种物联网设备上,尤其是智能网联汽车,2024年将更多的搭载大模型。

IBM大中华区首席技术官、研发中心总经理谢东也曾公开表示,对于企业而言,应用模型的目的是希望其能以较低的成本,解决特定的问题,“对于企业级应用而言,模型反而是越小越好,因为越小越灵活,越小成本越低。”谢东如是说。

确实,通过今年各大厂商的动态不难看出,相较于模型参数的“大”,厂商们将更多的注意力集中在如何训练出“小”且垂直行业好用的模型。而大模型能力在诸如手机、电脑、汽车等端侧的应用落地,也成为当下科技巨头们聚焦的话题之一。

走向端侧的大模型需要“软硬施”

大模型真正在行业侧、端侧落地的过程中,无论是软件层面,还是硬件层面,都将迎来新一轮的变革。

从硬件角度出发,大模型除了对CPU、GPU等在内的众多芯片有着较高的要求和需求以外,对于设备的散热、连接等方面也有着与原先不同的高要求。

随着技术和社会,以及人工智能的发展,教育数字化对IT设备提出了新的需求,如何将AI芯片应用到教育设备中,赋能教育行业发展已经成为当下的热门话题,在英特尔中国区市场营销集团网络与边缘技术支持总监王景佳看来,AI技术可以有效帮助老师从过去比较传统的繁重工作当中脱身出来,更多关注于学生。AI技术也可以使老师和学生更加高效地互动,从而得到教学相长。借助AI技术,老师们还可以使整个学校做到因材施教,从而达到教育的目标。

以连接层面为例,企业在采购设备的时候,往往不会只采购一家的设备,这就对设备之间的兼容性,以及设备之间的连接/转换器都提出了更高的要求。而这个层面也成为建设行业生态过程中重要的一部分。

据悉,为了满足AI大模型想端侧落地的需求,日前,在第83届中国教育装备展示会期间,英特尔就联合合作伙伴共同发布全新OPS(Open Pluggable Specification,开放式可插拔规范)2.0。

英特尔网络与边缘事业部HEC中国区总经理陆英洁告诉钛媒体APP,全新OPS2.0规范的发布为AI大模型在端侧的部署提供了一套标准化的操作流程和接口,这有助于不同厂商和开发者之间的协作,推动AI大模型在端侧的广泛应用。

随着AI技术的不断发展,传统的端侧设备显然已经不能满足当下行业的需求,以交互式平板为例,传统的交互式平板更多的是要具备显示功能,但随着AI大模型向教育行业的渗透,交互式平板当下已经需要具备更多互动和助教的能力。比如需要具备师生协同,即看即所得、即写即显示的能力,不仅于此,在王景佳看来,随着技术的发展,端侧的IT设备要预留足够的扩展接口,为将来的技术和产品部署提供支撑和能力。

而刚刚发布的OPS2.0模块可以看作是一个可插拔的计算单元,在适配CPU、GPU等不同场景下,都具备了相应的扩展能力,“这点是OPS2.0与1.0相比,提升最大的地方之一。”王景佳强调。

除了硬件层面,软件层面的不断迭代,对于大模型在行业落地也起到了至关重要的作用。同样以教育行业为例,深圳市德晟达电子科技有限公司副总经理彭元涛告诉钛媒体APP,过去,很多交互式平板使用的是安卓的操作系统,但在实际教学中使用率,以及方便程度并不高。但是升级后的OPS2.0,可以兼容eDP,进一步简化大屏的硬件架构的同时,还降低了书写延迟,“现在,我们eDP可以通过OPS进行直连驱屏,通过软件优化的形式,让传输速度更高,延时更低。”彭元涛指出。

不仅于此,陆英洁告诉钛媒体APP,在软件工具层面,英特尔也打造了包括OpenVINO等在内的工具,以满足时下终端用户对于训练和推理的需求,“具体到大模型领域,英特尔也在跟不同通用ISV和行业ISV做一些大模型的探索和项目的优化。”陆英洁指出。

需求不断涌现,技术驱动发展

随着AI技术的不断发展,我们也看到了越来越多行业开始拥抱AI带来的红利,也将有越来越多的应用场景出现。同样以教育行业为例,当下教育数字化转型已经进入了AI赋能的阶段,师生之间需要的不仅是简单的显示,已经数字化教室,而是需要整个教学周期的数字化、智能化。

对于老师来说,老师们需要更精准、更细致的了解每个同学上课时的表现,课堂上与老师互动的数据,以及课后学习情况;

对于学生来说,学生渴望更真实的感受课本上的内容,需要每位同学都拥有一个随身相伴的专属老师,可以根据自身情况,定制专属的学习计划;

对于家长来说,家长希望可以通过简单明了的可视化数据,了解学生在校的表现,以及学习的情况,并可以通过简单的数字化工具与老师进行教学层面的交流.....

针对此,视源股份整机BG商用显示事业部总经理黄柏林指出,当下,老师面临着教学设计效率质量难保障,教学质量评估人工成本高,教研活动成果难量化,缺乏客观的课堂回顾依据等诸多难题。

上述提到的还仅仅是当下教育行业所面临的诸多需求的一小部分,随着AI技术在教育行业的逐步应用,这些需求也将一一得以满足。在黄柏林看来,这些都是当下教育行业切实的需求,要以技术驱动这些需求落地仍有很长的路要走。

黄柏林告诉钛媒体APP,未来,AI+教学的模式主要将展现在四个方面:备课助手、研讨增效、课堂反馈,以及学情评价。

备课助手方面,老师通过AI大模型的能力可以快速的生成课件,并进行课件美化,达到更好的授课效果。

研讨增效方面,老师可以通过语言大模型的能力,进行摘要整理,观点提炼等操作,减少了老师在研讨方面的工作量,提升了效率。

课堂反馈方面,老师可以根据NPU计算采集的课堂活动捕捉数据,并通过AI大模型的能力,深入分析每个学生的课堂表现,并对学生的表现进行智能反馈。

学情分析方面,在课后,老师可以根据综合的数据,对每位学生一节课、一天、一周,甚至一个学期的数据进行分析评估,用数据真实反映每个学生的学习情况,并进行作业的批改。

在黄柏林看来,这四个方面是未来教育与AI深度融合的主要方向。当然,这也离不开软件、硬件层面的协同发展,以及整个教育数字生态的建设。而OPS2.0的迭代,是大模型能力走向端侧过程中重要的一块拼图。(本文首发于钛媒体APP,作者 | 张申宇,编辑 | 盖虹达)

本文标签: 端侧  教学  大模型  ops  视频生成模型