Skip to content

serving-admin使用介绍

简介

serving-admin提供了FATE-Serving集群的可视化操作界面,依赖zookeeper注册中心,可以展示集群中各实例的配置、状态、模型、监控等信息,并可以执行模型的卸载、服务接口的权重调整、流量控制等操作。默认端口8350.可以根据自己需要修改端口。
在安装serving-admin并启动之后,可以通过浏览器进行访问,默认用户名 admin,密码admin。

功能介绍

用户管理

默认用户:admin,默认密码:admin,用户可在conf/application.properties中修改预设用户。
serving-admin仅实现简单的用户登录,用户可业务需求,自行实现登录逻辑,或接入第三方平台。

节点管理

  • 节点展示:提供集群组件展示,点击组件可切换实例进行操作

admin1

  • 参数配置:展示实例的参数配置及元数据,参数解释请参考配置详解

admin2

模型管理

模型管理仅在serving-server实例中显示

  • 模型查询:展示实例从fateflow载入成功的模型,仅显示单方模型,数据使用方会显示绑定的服务ID

admin3

列表字段

字段名 备注
Model ID 模型ID
Model Version 模型版本
Service ID 服务ID
FATE Flow Address 发布模型的flow的IP地址
Role & Party ID 模型对应的角色和节点ID
Timestamp 模型发布时间
Operation 模型操作
  • 模型调用监控:模型列表右侧可展示模型调用监控,绿色线条为调用量,红色线条为异常次数,一次调用批量预测模型调用量为请求参数中 batchDataList 数量。

admin-modelMonitor

  • 模型解绑:可以对模型绑定的服务ID进行解绑,并注销对应服务注册的服务接口。

admin-unbind

  • 模型卸载:卸载实例已载入的模型,模型卸载会同时解绑服务ID,并注销注册的服务接口。

admin-unload

  • 模型同步:可将当前机器上的模型同步到本机群中其他的serving-server机器上。

model-sync

  • 支持查看模型pipeline:点击可在弹窗中查看当前模型的pipeline

model-pipeline

服务管理

  • 服务接口:展示注册中心中各实例注册的服务接口

service

列表字段

字段名 备注
Name 接口名称,{Project}/{Environment}/{ServiceName}
Host 服务接口对应grpc服务所在主机
Port 服务接口对应grpc服务监听端口
Weight 服务接口路由权重,用于调整服务节点之间的流量分配
  • 接口加权:服务接口加权可以更轻松地在服务发现时实施负载均衡

weight

  • 接口验证:页面提供了接口的简单调用,提供参数即可对接口进行验证,当前可验证inference和batchInference接口。

verify

统计/监控

  • 调用量统计:提供实例各接口调用量图表展示,此处仅显示接口调用量。

monitor

  • JVM监控:提供JVM信息图表展示,包含Memory(内存情况)、GC Frequency(GC 频率)、GC Time(GC时间)、Thread Count(线程数量)。

jvm

流量控制

  • 模型调用流量控制:可通过限制模型调用QPS,可进行流量控制,超过限制的请求会被拦截。

flow

自检功能

  • Cluster一键自检工具:由后台定时对Cluster进行自检,用户也可以主动进行一键自检。
    页面上增加自检精灵工具,可查看Cluster的服务自检状态。

health-check

配置路由表

  • 支持在页面编辑修改路由信息

route