信息高铁MLOps平台支撑多语言大模型“百聆”发布
信息高铁MLOps平台支撑多语言大模型“百聆”发布
近期，中国科学院计算技术研究所推出多语言大模型“百聆“，该模型在信息高铁MLOps平台上训练部署，中科南京信息高铁研究院的算力网团队为模型发布提供算力、软件开发和运行维护的全过程支持。
基于信息高铁综合试验场的“信息高铁MLOps”平台为“百聆”多语言大模型的发布提供训练和部署的全流程服务。
Notebook服务，在模型的开发验证阶段，为用户提供一键启动的实验环境。
模型训练，针对大规模数据和大模型的训练，提供分布式训练的支持，提升模型训练效率。
推理服务，通过云原生弹性推理服务框架，基于流量负载感知实现模型推理自动化弹性伸缩，在保障推理性能的同时提高资源利用率。
管道服务，支持流水线式的机器学习，提供管道功能，用于进行机器学习端到端的编排。
数据卷管理，为用户提供对于代码，日志，模型和数据集等数据的管理能力，通过数据卷，用户可以将数据在平台的各个功能模块间进行共享，以及对数据持久化保存。
智算算力并网和调度，通过并网异构、异域、异属的智算算力，屏蔽各智算算力差异性，实现统一调度。
智算算力并网纳管分布式容器集群，构建全局视角容器云池，提供统一入口进行可视化管理集群及应用。具备3大容器云并网能力，包括
智算算力调度实现算力资源跨域调度，智能匹配各类智算任务与算力资源，实现算力消费方与算力提供方的的环节解耦。
目前，信息高铁MLOps平台已对外开放，如需试用可以联系刘老师（liuxiaodong@ict.ac.cn）
创建时间：2023-07-06 06:35
来源：中科南京信息高铁研究院
