Skip to content

server的配置详解

serving-server.properties配置

以下为conf/serving-server.properties文件配置详解。源码中的配置文件没有罗列出所有配置,只保留了必需的配置,其他配置都采用了默认值。如果需要可以根据以下表格来在配置文件中新增条目

配置项 配置项含义 默认值
port 服务监听端口 8000
remoteModelInferenceResultCacheSwitch 预测结果的缓存开关,false代表不使用缓存,true代表使用缓存,该配置跟cache.type 配合使用 false
cache.type 缓存类型,可选local/redis,其中local为进程中维持的LRU内存,不建议在生产上使用local local
local.cache.expire 内置缓存过期时间,单位:秒,该配置在cache.type=local时生效 30
local.cache.interval 内置缓存过期处理间隔,单位:秒 ,该配置在cache.type=local时生效 3
local.cache.maxsize 内置缓存最大存储数量 ,该配置在cache.type=local时生效 10000
redis.ip redis ip地址,该配置在cache.type=redis时生效 127.0.0.1
redis.port redis端口 ,该配置在cache.type=redis时生效 3306
redis.cluster.nodes redis集群节点,配置则开启集群模式 ,该配置在cache.type=redis时生效
redis.password redis密码 ,该配置在cache.type=redis时生效
redis.expire redis过期时间 ,该配置在cache.type=redis时生效 3000
redis.timeout redis链接超时时间 ,该配置在cache.type=redis时生效 2000
redis.maxIdle redis连接池最大空闲链接 ,该配置在cache.type=redis时生效 2
redis.maxTotal redis连接池最大数量 ,该配置在cache.type=redis时生效 20
serving.core.pool.size grpc服务线程池核心线程数 cpu核心数
serving.max.pool.size grpc服务线程池最大线程数 cpu核心数 * 2
serving.pool.alive.time grpc服务线程池超时时间 1000
serving.pool.queue.size grpc服务线程池队列数量 100
single.inference.rpc.timeout 单次预测超时时间 3000
batch.inference.max 单次批量预测数量 300
batch.inference.rpc.timeout 批量预测超时时间 3000
batch.split.size 批量任务拆分数量,在批量预测时会根据该参数大小将批量任务拆分成多个子任务并行计算,比如如果该配置为100,那300条预测的批量任务会拆分成3个100条子任务并行计算 100
lr.use.parallel lr模型是否启用并行计算 false
lr.split.size LR多任务拆分数量 ,该配置在lr.use.parallel=true时生效 500
feature.batch.adaptor 批量特征处理器,Host方需要配置,用于批量获取Host方特征信息,用户可根据业务情况,实现AbstractBatchFeatureDataAdaptor接口 com.webank.ai.fate.serving.adaptor.dataaccess.MockBatchAdapter
feature.single.adaptor 单次特征处理器,Host方需要配置,用于获取Host方特征信息,用户可根据业务情况,实现AbstractSingleFeatureDataAdaptor接口 com.webank.ai.fate.serving.adaptor.dataaccess.MockAdapter
model.cache.path 模型缓存地址,对于内存中存在的模型,serving-server会持久化到本地以便在重启时恢复 服务部署目录
model.transfer.url fateflow模型拉取接口地址,优先使用注册中心中的fateflow地址,若注册中心中没有找到fateflow地址,则会使用该配置地址 http://127.0.0.1:9380/v1/model/transfer
proxy proxy服务的地址,建议通过启用zookeeper自动获取地址,当不启用zk时需要直接在此处配置 127.0.0.1:8879
zk.url zookeeper集群地址 localhost:2181,localhost:2182,localhost:2183
useRegister 使用注册中心,开启后会将serving-server中的接口注册至zookeeper true
useZkRouter 使用zk路由,开启后rpc调用时会使用注册中心中的地址进行路由 true
acl.enable 是否使用zookeeper acl鉴权 false
acl.username acl 用户名 默认空
acl.password acl 密码 默认空