鸿 网 互 联 www.68idc.cn

当前位置 : 服务器租用 > 数据库 > DB2 > >

企业生产环境集群稳定性-HA就行吗?

来源:互联网 作者:佚名 时间:2018-02-10 22:17
在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等, HA分冷备和热备,热备是集群自带的,冷备就是硬件的。 这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode、master崩

在企业生产中,集群一旦运行,是要尽可能的将损失降到最低,现在所有的大数据技术都有HA,spark的、Hadoop的、HBase的等等,

HA分冷备和热备,热备是集群自带的,冷备就是硬件的。

这样一种情况:晚上了,人睡着了,突然的大数据量来了,nameNode、master崩了,HA启动了另一台备用节点,然而数据量依然很大,另一台也崩了,好吧集群废了?

咋办?

这就是冷备的需要,进程掉了,在服务器运行的情况下:

有一种机制可以启动进程服务,crontab+shell

五分钟之内检查进程情况,没有启动(时间自定义)

################################################################
#!/bin/bash
#该脚本用于监控Linux主机上的进程,由于某些情况进程丢失,而人员没有
#即时发觉得情况
#下面例子是jps->RunJar进程的监管
#在Linux服务器上创建一个crontab任务定时检查
#作者:舆
#时间:2016年
################################################################
ab=`jps | awk '{print $2=="RunJar"}'`
res=0
OLD_IFS="$IFS" 
IFS=" " 
arr=($ab) 
IFS="$OLD_IFS" 
for s in ${arr[@]} 
do 
    if [ "$s" = "1" ]
    then
       ((res++))
    fi 
done
echo $res
if [ $res \> 0 ]
then
   echo "进程存在"
else
   echo "进程不存在"
   hive --service metastore &
fi

 

本脚本以hive进程测试成功

是想,生产环境下,上述情况是不是可以缓解,脚本写日志文件处理是不是也可以。

网友评论
<