HBase 设置 合理的setCaching提高效率
时间:2016-10-06 19:26 来源:linux.it.net.cn 作者:IT
HBase提供了setCaching设置 cache数量，但是很多时候 如果设置不当，会相当耗内存。
如果不设置该值，默认是1条。如果设置该值很大，是可以加快速度，同时也消耗了太多的内存。
所以 合理的设置就很重要了。
当设置了setCaching(n)后，我们的server会从regin server上读取出n条数据。
那么client端读取数据的时候会直接从server的缓存中返回，
但是如果每次你只需要读取100条记录，但是设置了setCaching(1000),那么每次
都会从region server 多余的拿出900条记录，这样会让应用的server内存吃不消了
比较好的解决方案就是 设置setCaching(n)为实际需要的记录数。
(责任编辑：IT)
| HBase提供了setCaching设置 cache数量，但是很多时候 如果设置不当，会相当耗内存。 如果不设置该值，默认是1条。如果设置该值很大，是可以加快速度，同时也消耗了太多的内存。 所以 合理的设置就很重要了。 当设置了setCaching(n)后，我们的server会从regin server上读取出n条数据。 那么client端读取数据的时候会直接从server的缓存中返回， 但是如果每次你只需要读取100条记录，但是设置了setCaching(1000),那么每次 都会从region server 多余的拿出900条记录，这样会让应用的server内存吃不消了 比较好的解决方案就是 设置setCaching(n)为实际需要的记录数。 (责任编辑：IT) |