第3章 重赏之下必有勇夫
“特么的……”
秦朗空握手机,骂了一句
挂掉的其实是双活备机,否则银行业务停2天,早有人头落地了
即便如此,问题依然很大,如果这时主集群挂掉……
神仙难救
心跳骤然加速,脸庞通红,手都有些哆嗦,再也沉不住气
作为总监级别的管理层,知道如果事态蔓延,影响到了整个江宁市金融业务,那就动了腾云业务的根本了
任谁也担不起这个责任
一定有管理层要背锅
眼光像把尖刀,将在场的20来号人都划了一遍,脸色很难看
走到许靖松这边问:“怎么样了,尝试了什么新方案么?”
许靖松点点头:“今天又试了几种,因为咱们的环境无法复现,只能让驻场在客户环境试,也是……”
说到这,停住了
意思就是,毛用都没有
秦朗脸阴得像黑炭,心烦之极,耳边却听到了叽叽喳喳讨论声,回头一看,原来是王霁在向刘洋请教问题
其实吧,声音也不大
但人心烦的时候,连蚂蚁都嫌吵
秦朗回头怒叱:“小声点!”
见王霁吐了吐舌头,一脸青涩的模样,心头更来气,指责道:“王霁,别占用刘洋时间,还要查问题!”
也不是针对王霁,就是纯心烦,而且内心里确实觉得……
新人管个球用?
要不是做姿态,要来?
王霁哦了一声,只好缩回自己工位去,仔细研究那几处代码
刘洋的指点很管用,只看这几处,前后逻辑已经梳理得七七八八
看着看着,原先那些似懂非懂的代码块,忽然变得清晰、立体起来
有一处,竟然出现了红点
脑海中闪过提示:“此处可能死锁,如果运行中计费服务被重启,锁得不到释放,就会出现假死情况”
补充说明:掌握度
“啊,有了!”
王霁对这段代码的理解,一下子跨过了代码本身,关联到了外部服务
再去查关于锁引用的代码,以及对计费服务的依赖,逻辑更加明了
“原来如此!之前一直懵懵懂懂,现在终于搞清楚了”
王霁读通了这段代码,不知不觉间,相关连环逻辑也就能理解了
一处通,处处通
第二处缺陷点也浮现出来:“此处定义的重启策略,没有充分检查服务状态,存在脑裂风险,引起连环重启”
补充说明:掌握度
嘶——
王霁倒吸一口凉气
原来代码有这么多问题!
自己原本膜拜的那些大佬们,们的代码也并非十分健壮啊
只是出问题的场合不同,不是小逻辑错误,而是大的架构级灾难
连续看了几处缺陷,想到了客户现场错误日志,以及操作记录,就悄悄问刘洋要了一份,仔细对比
“不是这个操作……”
“也不是这个……”
“这个跟报错对不上……”
对操作不熟悉的地方,再次低声请教刘洋,直到搞懂为止
声音不大,背后的许靖松却沉下脸:“刘洋,先查问题,现在不是给新人讲基础的时候,客户要炸了”
话虽是冲刘洋说的,却明显是在批评王霁瞎耽误工夫
没想到,王霁椅子转了过来
双手交叉抱头,悠闲地枕着
笑嘻嘻道:“老大,这不也是为了查问题么,没准能查到呢?”
“能查到?”许靖松是纯IT男,不相信奇迹,只相信实力:“要是能查到,给申请提前转正!”
“一言为定!”
王霁转了回去
许靖松没当回事,在旁冷眼旁观的秦朗忽然意识到,比起给这群疲惫的员工压力,激励或许更管用
收起严肃,举起右手:“咱们说过有项目奖,现在需要大家齐心协力,找到问题的申请奖励……”
毕竟是总监,有格局
办公室的目光都聚集过来
看着那只手比出一个
“2000块!”
话音刚落,目光都散了
有格局,但不多
才2000块,洗洗睡吧!
重赏之下必有勇夫,好歹也出个重赏不是?
要是回古代跟士兵说“斩首一级,放假一天”,看士兵砍谁的脑袋?
听到了轻微的嘘声,秦朗脸上有些挂不住,干咳了一声,V变成了整个手掌,提高了音量:“提高到5000块!”
“这还差不多……”王霁对面的彭子豪咕哝一声,继续埋头
或许是多少受了激励,办公室开始热闹起来,有了低声议论
大佬们三三两两交换想法,把没试过的可能性再做讨论
测试、产品经理也聚了过来,收拾疲态投入最后的一搏
但……没人找王霁聊
基础架构组只有一个新人
时间紧急,不值当跟聊
秦朗很满意这效果,拍拍王霁肩膀:“加油,没准就是查到呢?”
眼神带着微笑,声音带着和蔼,把先前的斥责冲掉了
有格局
但不多
一手反讽王霁是听得出的
“查到了”
慢悠悠地,王霁坐直身体
声音也不大,却让周围都瞬间安静下来
刘洋第一时间蹿起身,冲到工位问:“查到了?什么问题?”
随即,对面的彭子豪、汤臣一也从另一侧绕了过来,围在王霁身后
见这架势,本来在讨论问题的许靖松、尹俊,还有周围几位测试、产品经理都蜂拥而至,静悄悄不说话
目光交汇处,王霁静静指着屏幕一处代码:
“周五晚上8点,们对江宁银行做了升级,是自动脚本完成”
“20:27,计算服务开始重启,这时候计费服务也重启了,时间几乎相同,从日志也能看出来”
“这个脚本是去年写的,们的测试环境只考虑了全闪盘、混插盘的情况,纯HDD盘却很少覆盖测试”
“因此,们对管理节点有最低配置要求,必须满足条件”
“但客户环境管理节点6月扩容过,有个节点用的是纯”
“因此升级脚本执行得偏慢,计算服务、计费服务同时重启!”
“而们这部分代码逻辑,计算服务重启会因为计费服务而死锁!”
“另一个地方检测后,强行重启,导致了脑裂发生,连环重启”
“这就是原因!”