server的配置详解
serving-server.properties配置¶
以下为conf/serving-server.properties文件配置详解。源码中的配置文件没有罗列出所有配置,只保留了必需的配置,其他配置都采用了默认值。如果需要可以根据以下表格来在配置文件中新增条目
配置项 | 配置项含义 | 默认值 |
port | 服务监听端口 | 8000 |
remoteModelInferenceResultCacheSwitch | 预测结果的缓存开关,false代表不使用缓存,true代表使用缓存,该配置跟cache.type 配合使用 | false |
cache.type | 缓存类型,可选local/redis,其中local为进程中维持的LRU内存,不建议在生产上使用local | local |
local.cache.expire | 内置缓存过期时间,单位:秒,该配置在cache.type=local时生效 | 30 |
local.cache.interval | 内置缓存过期处理间隔,单位:秒 ,该配置在cache.type=local时生效 | 3 |
local.cache.maxsize | 内置缓存最大存储数量 ,该配置在cache.type=local时生效 | 10000 |
redis.ip | redis ip地址,该配置在cache.type=redis时生效 | 127.0.0.1 |
redis.port | redis端口 ,该配置在cache.type=redis时生效 | 3306 |
redis.cluster.nodes | redis集群节点,配置则开启集群模式 ,该配置在cache.type=redis时生效 | 空 |
redis.password | redis密码 ,该配置在cache.type=redis时生效 | 空 |
redis.expire | redis过期时间 ,该配置在cache.type=redis时生效 | 3000 |
redis.timeout | redis链接超时时间 ,该配置在cache.type=redis时生效 | 2000 |
redis.maxIdle | redis连接池最大空闲链接 ,该配置在cache.type=redis时生效 | 2 |
redis.maxTotal | redis连接池最大数量 ,该配置在cache.type=redis时生效 | 20 |
serving.core.pool.size | grpc服务线程池核心线程数 | cpu核心数 |
serving.max.pool.size | grpc服务线程池最大线程数 | cpu核心数 * 2 |
serving.pool.alive.time | grpc服务线程池超时时间 | 1000 |
serving.pool.queue.size | grpc服务线程池队列数量 | 100 |
single.inference.rpc.timeout | 单次预测超时时间 | 3000 |
batch.inference.max | 单次批量预测数量 | 300 |
batch.inference.rpc.timeout | 批量预测超时时间 | 3000 |
batch.split.size | 批量任务拆分数量,在批量预测时会根据该参数大小将批量任务拆分成多个子任务并行计算,比如如果该配置为100,那300条预测的批量任务会拆分成3个100条子任务并行计算 | 100 |
lr.use.parallel | lr模型是否启用并行计算 | false |
lr.split.size | LR多任务拆分数量 ,该配置在lr.use.parallel=true时生效 | 500 |
feature.batch.adaptor | 批量特征处理器,Host方需要配置,用于批量获取Host方特征信息,用户可根据业务情况,实现AbstractBatchFeatureDataAdaptor接口 | com.webank.ai.fate.serving.adaptor.dataaccess.MockBatchAdapter |
feature.single.adaptor | 单次特征处理器,Host方需要配置,用于获取Host方特征信息,用户可根据业务情况,实现AbstractSingleFeatureDataAdaptor接口 | com.webank.ai.fate.serving.adaptor.dataaccess.MockAdapter |
model.cache.path | 模型缓存地址,对于内存中存在的模型,serving-server会持久化到本地以便在重启时恢复 | 服务部署目录 |
model.transfer.url | fateflow模型拉取接口地址,优先使用注册中心中的fateflow地址,若注册中心中没有找到fateflow地址,则会使用该配置地址 | http://127.0.0.1:9380/v1/model/transfer |
proxy | proxy服务的地址,建议通过启用zookeeper自动获取地址,当不启用zk时需要直接在此处配置 | 127.0.0.1:8879 |
zk.url | zookeeper集群地址 | localhost:2181,localhost:2182,localhost:2183 |
useRegister | 使用注册中心,开启后会将serving-server中的接口注册至zookeeper | true |
useZkRouter | 使用zk路由,开启后rpc调用时会使用注册中心中的地址进行路由 | true |
acl.enable | 是否使用zookeeper acl鉴权 | false |
acl.username | acl 用户名 | 默认空 |
acl.password | acl 密码 | 默认空 |