【MindSpore易点通机器人-02】设计与技术选型

作者：王磊
更多精彩分享，欢迎访问和关注：https://www.zhihu.com/people/wldandan

2022年3月，MindSpore易用性SIG成立后，很快吸引了不少开发者加入SIG群中进行交流。作为和开发者进行连接的桥梁，易用性SIG的目标是和开发者共同打造易学易用、灵活高效的AI框架，持续提升MindSpore易用性，助力开发者成功。

通过易用性SIG，我们不仅倾听开发者的声音，为开发者提供帮助，也希望能和开发者一起围绕“MindSpore的学习与实践”这个主题，打造一些有趣的开源项目。

MindSpore易点通机器人是易用性SIG发起的一个开源项目，希望能够基于MindSpore框架提供的能力，与社区一起从0到1打造易用性问答机器人，帮助提升MindSpore易用性，更多背景请参考 01-MindSpore易点通机器人介绍

本篇文章，我们将梳理需求、设计初始架构、定义MLOps，为后续迭代工作提供输入。

一、需求梳理

1. 功能概述

通过提供面向MindSpore开发者学习和使用的智能机器人服务，接受用户问题查询，自动帮助开发者找到问题答案，覆盖80%以上常见问题，提升社区开发者体验，提升用户满意度。

主要包括三大功能：

• 问题答案查询：直接回答用户关于MindSpore官网/资料/指南等问题。
• 多轮对话交互：通过多轮交互引导用户补充问题上下文，最终精准找到答案。
• 问答推荐：如果没有准确命中的答案，可以给用户推荐相似的3个问题和答案。

2. 需求故事(Epic Story)

1) 问题答案查询场景 ： 直接回答用户关于MindSpore官网/资料/指南等问题，举例如下所示：

• 作为学习型用户，当我提出关于学习教程的问题，期望机器人回答教程清单

用户提问：图像分类相关的教程有哪些？
响应：返回图像分类相关的教程地址。

• 作为教学/科研型用户，当我提出从Pytorch到MindSpore迁移的问题时，期望机器人回答API映射信息

用户提问：pytorch torch.chunk api 对应的MindSpore API是什么？
响应：对应的接口为 mindspore.ops.split，详细地址为(https://mindspore.cn/docs/api/zh-CN/r1.6/api_python/ops/mindspore.ops.Split.html#mindspore.ops.Split)。

• 作为生产型用户，当我提出精度调试调优的问题，期望机器人回答精度调优以及错误定位相关清单

用户提问：精度问题如何定位？ 
响应：返回精度调优、定位相关的案例以及指南文章。

2) 多轮对话交互场景 ：通过多轮对话缩小用户问题范围，从而给出答案，举例如下所示：

• 作为学习型用户，当我提出安装的问题，期望机器人交互式获取详情并回答

用户提问：安装mindspore，提示该版本不支持当前平台。
响应：请输入您的操作系统版本及处理器。
用户回答：win10、intel处理器。
响应：请输入您的显卡相关信息。
用户回答：AMD集成显卡。
响应：请输入您安装的MindSpore版本。
用户回答：mindspore_gpu 1.6.0。
响应：mindspore当前不支持 AMD显卡，请安装CPU版本。

• 作为教学科研型用户，当我提出MindInsight无法运行问题，期望机器人交互式获取详情并回答

用户提问：请问在Ubuntu上安装了MindInsight运行时提示无法使用，应该怎么解决？
响应：请问使用的是什么操作系统？
用户回答：Ubuntu。
响应：请输入提示的错误信息。
用户回答：提示8080端口无法使用。
响应：8080端口可能已被占用，建议切换启动端口，如 mindinsight start --port 8080 --summary-base-dir xxx。

• 作为生产型用户，当我提如何部署问题，期望机器人交互式获取详情并回答

用户提问：模型如何部署到生产环境？
响应：请问部署的目标硬件是什么？
用户回答：GPU。
响应：请问部署的操作系统是什么？
用户回答：Windows。
响应：请问是离线还是在线部署？
用户回答：离线。
响应：给出MindSpore Lite Windows版本下载地址以及相应的指南。

3) 问答推荐场景 ：推荐相关的问题和答案

用户提问：龙芯支持的版本？ 
响应：您可能想了解以下问题： 
1. 如何在青松服务器上编译MindSpore？ 
2. 如何在海光服务器上编译MindSpore？

二、 架构设计

该部分从四个主要视图(逻辑视图、开发视图、部署视图和运行视图)展开，指导后续实现。

1. 逻辑视图

主要包括 业务模型、技术模型（技术选型）、API设计、数据模型。

1) 业务模型
逻辑架构如下图所示，NLP服务接受来自多客户端的请求，返回生成的应答内容。

逻辑架构

主要模块如下所示 ：

• 客户端：表征以REST方式发起请求的用户，包括IDE、MindSpore主页、公众号，掌中宝、Gitee等。
• NLP服务（业务层）：提供语义理解、内容生成、会话管理等能力。
• 数据服务（数据层）：提供模型版本存储、会话状态、知识图谱的数据管理能力。
• 监控服务：提供基础的生产环境、基础设施监控以及业务监控能力。

2) 技术模型

我们将NLP服务作为独立的微服务在云上以容器形式部署运行，同时利用云侧提供的服务，完成NLP服务的监控、高可用和安全性保障。

技术模型

主要技术方案：

客户端

• IDE：基于PyCharm，提供UI节目。
• 主站：基于Reactjs实现对话框；
• Gitee：通过Webhook方式对接；

NLP服务

• 基于Bert模型完成意图识别、内容生成。
• REST API基于Serving实现。

数据服务

1. 模型版本：数据和模型打包在一起，通过SWR管理。
2. 会话状态：基于Redis管理。
3. 知识图谱：基于Gauss数据库管理。

监控服务

基于APM实现基础监控，通过自定义指标实现业务监控。

3) API设计

针对问答过程，客户端使用REST API完成提问及获取答案：

GET /query
Request：{
    question: string, 
    tag: string  //标记问题的类型或者领域
}
Response: 
{
    question: string, 
    answer: string, 
    tag: string, 
    ref: string  //承载url链接，针对某些问答可能需要给出参考链接的场景
}

4) 数据模型

数据模型主要考虑数据集的格式。数据集使用csv格式进行存储，主要包含以下字段：文档内容，流程，标签。

• content：文档内容，为文档所有的文字内容，以便匹配用户的搜索关键词。
• process：流程主要是tag信息，用于聚类，反问；当前定义流程为（不建议自行增加流程）：安装，数据处理，代码编写，编译，调试，调优，推理。
• tag：内容可能归属于多个tag（领域），环境也属于tag信息，只是从不同角度进行定义，如系统信息（Windows、Mac），芯片架构（CPU、GPU），AI领域（NLP、CV）。

样例

2. 开发视图

开发视图通常承载代码结构、流水线设计等内容。

1) 代码结构

当前MindSpore易点通机器人的代码仓按照如下目录组织：

代码仓结构：
data：源数据目录
src: 源码目录
   - Data：数据处理
   - Train: 训练代码
   - inference ：推理代码
tests：自动化测试代码
scripts: CI/CD相关脚本
infra：基础设施即代码的配置
workflow：Argo workflow的配置文件
notebooks：Jupyter notebook，记录案例教程
Jenkinsfile：CI/CD流水线配置文件
Dockerfiles：镜像打包配置文件

2) 流水线设计

MLOps流水线设计

流水线分类

• 构建（CI/CD）流水线：包含代码规范检查、单元测试、接口测试，完成代码打包和自动化部署。
• 训练（ CT ）流水线：数据处理（生成新语料库）、训练模型、评估模型、发布新版本模型。

构建元素

• 模型及推理代码包（容器）。
• 语料数据集（CSV/MindRecord）。

版本管理

• 数据版本管理：可分为原始数据以及语料库数据（mindrecord格式），使用OBS进行存储及版本管理。
• 模型版本管理：同样通过OBS托管模型，也可以考虑和推理代码打包在一起发布到到镜像仓库进行版本管理。

3. 部署视图

对于NLP服务云侧部署，参考微服务的云原生部署方式，最大程度的利用云服务来保障系统的高可用，弹性，并降低维护成本。

部署视图

云侧部署：

• 极简部署：负载均衡（ELB），NLP服务器（CCE 容器），状态存储（Redis）。
• 高可用：NLP服务多AZ部署，Redis主从。
• 安全性：NLP服务只接收ELB安全组请求，Redis只接收NLP服务安全组请求。
• 可维护性：监控指标聚合到APM服务，NLP服务上传自定义指标到APM。

4. 运行视图

运行视图介绍NLP服务以及在端侧IDE运行时的进程详情。

运行视图

NLP服务以及客户端的运行视图比较简单，NLP服务和HTTP服务运行在一个进程中，而IDE客户端则作为插件和IDE进程运行在一起。

三、总结

该篇文章主要介绍了设计的4类主要视图：逻辑视图、开发视图、部署视图、运行视图。

完成初步设计后，我们接下来就可以参考《03-迭代0：机器学习项目开始前要做哪些准备工作？》开始迭代0