网易视频云：HBase客户端实践–重试机制

网易视频云是网易倾力龅歧仲半打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PaaS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享HBase客户端实践–重试机制。

　　在运维HBase的这段时间里，发现业务用户一方面比较关注HBase本身服务的读写性能：吞吐量以及读写延迟，另一方面也会比较关注HBase客户端使用上的问题，主要集中在两个方面：是否提供了重试机制来保证系统操作的容错性？是否有必要的超时机制保证系统能够fastfail，保证系统的低延迟特性？

　　这个系列我们集中介绍HBase客户端使用上的这两大问题，本文通过分析之前一个真实的案例来介绍HBase客户端提供的重试机制，并通过配置合理的参数使得客户端在保证一定容错性的同时还能够保证系统的低延迟特性。

案发现场

　　最近某业务在使用HBase客户端读取数据时出现了大量线程block的情况，业务方保留了当时的线程堆栈信息，如下图所示：

　　定睛一看，该线程持有了这把全局锁，而且处于TIMED_WAITING状态，因此这把锁可能长时间不释放，导致所有需要这把全局锁的线程都阻塞等待。好了，那问题就转化成了：为什么这个线程会处于TIME_WAITING状态？

　　2.2 根据上图提示，查看源码中RpcRetryingCall.java的115行代码，可以确定该线程处于TIME_WAITING状态是因为自己休眠导致，如下图所示：

　　参考源码注释可知，这把锁是为了防止同时多线程并发加载meta分区。全局锁代码块首先会从缓存中查找meta分区，如果不存在会执行prefetchRegionCache方法远程查找并写入缓存，因此如果第一个线程成功加载meta分区数据并写入缓存，后来线程可以直接使用。

　　正常情况下，prefetchRegionCache方法只有在缓存不存在的情况下会执行，如果此时网络不存在问题，远程查找meta分区信息会很快完成，持锁时间也会很短。一旦网络出现长时间抖动，就有可能出现这把锁一直被持有，阻塞其他线程。

HBase Rpc重试机制

　　通过上文分析可知，HBase的重试机制是这次异常发生的关键点，有必要对其进行一次解析。HBase执行rpc失败之后会执行重试操作，

　　重试的最大次数可以通过配置文件配置，对应的参数为hbase.client.retries.number,0.98版本中该参数的默认值为31。

　　同时每两次重试之间会sleep一段时间，即上文提到的expectedSleep变量，该变量实现具体算法如下：

　　其中RETRY_BACKOFF是一个重试系数表，由小到大递增表示重试时间会随着重试次数逐渐递增。pause变量可以通过配置文件配置，对应的参数为hbase.client.pause,0.98版本中该参数的默认值为100。

　　暂时忽略jitter这个小随机变量，默认情况下最大的重试间隔休眠时间expectedSleep = 100 * 200 = 20s。默认重试次数为31，则每次连接集群重试之间的暂停时间将依次为：

　　［100，200，300，500，1000，2000，4000，10000，10000，10000，10000，20000，20000，…,20000］

　　这意味着客户端将在448s内重试30次，然后放弃连接到集群.

客户端参数优化实践

　　很显然，根据上面第二部分和第三部分的介绍，一旦在网络出现抖动的异常情况下，默认最差情况下一个线程会存在8min左右的重试时间，从而会导致其他线程都阻塞在regionLockObject这把全局锁上。为了构建一个更稳定、低延迟的HBase系统，除过需要对服务器端参数做各种调整外，客户端参数也需要做相应的调整：

　　1. hbase.client.pause:默认为100，可以减少为50

　　2. hbase.client.retries.number:默认为31，可以减少为21

　　修改后，通过上面算法可以计算出每次连接集群重试之间的暂停时间将依次为：

　　［50，100，150，250，500，1000，2000，5000，5000，5000，5000，10000，10000，…，10000］

　　客户端将会在2min内重试20次，然后放弃连接到集群，进而会再将全局锁交给其他线程，执行其他请求。

总结

　　这篇文章从一个客户端异常入手，通过堆栈分析、源码追踪、合理推断，一方面整理分享程序异常的定位方法，一方面介绍HBase Rpc的重试机制以及客户端参数优化。