旷视科技发布全新轻量级 LLM 模型推理框架 InferLLM，助力大模型实现落地

来源：中国网财经
时间：2023-07-28 13:24:51

【资料图】

ChatGPT的火爆出圈让大家看到了大型语言模型的潜力，多家企业开始自研大型语言模型，开源社区也已经出现了非常多优秀的模型。旷视科技也发布了全新轻量级 LLM 模型推理框架 InferLLM，助力大模型实现落地。虽然大型语言模型在文案生成、内容创作、代码编程等方面展现了强大能力，但其海量的参数和巨大的模型体积，让大语言模型在边缘端设备上运行仍面临许多挑战。为加速大语言模型落地应用，旷视天元开发了 InferLLM 工程，提供一个比 llama.cpp 更简单更容易上手的本地部署框架，让大语言模型在本地或者端上部署成为可能。旷视天元开源深度学习框架MegEngine是旷视科技自主研发的国产工业级深度学习框架，是旷视科技新一代AI生产力平台Brain++的最核心组件，在2020年3月正式向全球开发者开源。

旷视科技天元凭借其训练推理一体、超低硬件门槛和全平台高效推理3大核心优势，能够帮助企业与开发者大幅节省产品从实验室原型到工业部署的流程，真正实现小时级的转化能力。旷视天元不断优化，推出了一系列实用功能，降低 AI 算法生产门槛，助力 AI 应用快速落地，其中包括：引入动态图显存优化(DTR)技术，大幅减少显存占用，节省开发者硬件成本，用有限硬件资源训练出更大模型；开源面向计算机视觉应用的流式计算框架 MegFlow，开发者基于MegFlow 提供的视觉解析服务方案，最快 15 分钟即可完成客制化所需功能，AI 应用落地不再难；开发出创新性的 TracedModule 方案以及 MegEngine Lite，基于旷视科技海量业务打磨出的模型推理最佳实践，化解模型转换部署难题……

除了开源深度学习框架旷视天元外，旷视科技的科研成果包括AI生产力平台Brain++ 、AI算法生产平台AI Service、移动端高效卷积神经网络ShuffleNet等多项创新技术和产品。目前，旷视已在ICCV、CVPR、ECCV 等国际学术会议、期刊上发表论文200余篇，在各项国际人工智能顶级竞赛中累计揽获 56 项世界冠军或最高荣誉。

当下，大模型已成为 AI 重要的技术发展方向。旷视科技一直坚定投入大模型研发，具备领先的大模型原创科研能力。面向未来，旷视科技将积极拥抱多模态大模型，同时将大模型与硬件结合，面向物联网场景打造不同类型的行业应用。

关键词：