欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

zookeeper服务优化的一些建议

程序员文章站 2024-02-26 10:10:40
1.快照文件和事务日志文件分别挂在不同磁盘。zoo.cfg文件中,datadir是存放快照数据的,datalogdir是存放事务日志的。zookeeper更新操作过程:先写...

1.快照文件和事务日志文件分别挂在不同磁盘。zoo.cfg文件中,datadir是存放快照数据的,datalogdir是存放事务日志的。zookeeper更新操作过程:先写事务日志,再写内存,周期性落到磁盘(刷新内存到快照文件)。事务日志的对写请求的性能影响很大,保证datalogdir所在磁盘性能良好、没有竞争者。

2. 默认jvm没有配置xmx、xms等信息,可以在conf目录下创建java.env文件(内存堆空间一定要小于机器内存,避免使用swap)

export jvmflags="-xms2048m -xmx2048m $jvmflags"

3. 按天出zookeeper日志,避免zookeeper.out文件过大。

zkenv.sh文件日志输出方式从console改为rollingfile

if [ "x${zoo_log4j_prop}" = "x" ]
then
#  zoo_log4j_prop="info,console"
  zoo_log4j_prop="info,rollingfile"
fi

conf/log4j.properties设置为按天生成文件dailyrollingfileappender

#zookeeper.root.logger=info, console
zookeeper.root.logger=info, rollingfil
log4j.appender.rollingfile=org.apache.log4j.dailyrollingfileappender
log4j.appender.rollingfile.threshold=${zookeeper.log.threshold}
log4j.appender.rollingfile.file=${zookeeper.log.dir}/${zookeeper.log.file}
log4j.appender.rollingfile.datepattern='.'yyyy-mm-dd
# max log file size of 10mb
#log4j.appender.rollingfile.maxfilesize=10mb

4. zoo.cfg文件中skipacl=yes,忽略acl验证,可以减少权限验证的相关操作,提升一点性能。

5. zoo.cfg文件中forcesync=no,这个对写请求的性能提升很有帮助,是指每次写请求的数据都要从pagecache中固化到磁盘上,才算是写成功返回。当写请求数量到达一定程度的时候,后续写请求会等待前面写请求的forcesync操作,造成一定延时。如果追求低延时的写请求,配置forcesync=no,数据写到pagecache后就返回。但是机器断电的时候,pagecache中的数据有可能丢失。

默认为forcesync=yes,为yes可以设置fsync.warningthresholdms=50 如果数据固化到磁盘的操作fsync超过50ms的时候,将会在zookeeper.out中输出一条warn日志(forcesync=yes有效)。

6. globaloutstandinglimit=100000 客户端连接过多,限制客户端请求,避免oom

7. zoo.cfg文件中preallocsize=64m 日志文件预分配大小; snapcount=100,000 多少次写事务,生成一个快照如果快照生成频繁可适当调大该参数。

一般zk的应用提倡读大于写,性能较好(10:1),存储元数据用来协调分布式数据最终一致。写过于频繁使用缓存更好

8. 日志文件自动清除(如果追求性能,可手动清除)

autopurge.snapretaincount=3 # the number of snapshots to retain in datadir
autopurge.purgeinterval=24 # purge task interval in hours set to "0" to disable auto purge feature

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对的支持。如果你想了解更多相关内容请查看下面相关链接