最近的实验室的事情比较复杂,上海仪真借给实验室新的IRIDIA激光剥蚀系统刚刚装机,系统还在磨合期。实验室的安捷伦7900质谱仪电源因为停机了两个月开机就炸了,这几天修好之后又一次罢工了,修这个电源的经历简直是太丰富了……
零、起因
博主导师负责的实验室主要是LA-ICP-MS实验室,也就是将激光剥蚀系统(LA)与质谱仪(ICP-MS)联用的组合,主要用于地质样品原位微区分析。在今年七月份,我们的老激光器Analyte HE的光源COHERENT COMPEX Pro 102因为高压模块故障彻底报废了。激光光源是昂贵的大型组件,采购和维修流程比较漫长,既然短时间内无法恢复工作,当时实验室就将质谱仪关闭真空并断电了。两个月后的九月下旬,我们组的一位老师将质谱开机准备做一些溶液样品(溶液可以通过质谱仪的进样器和雾化器直接引入,不需要LA系统)。据他说吃了个午饭回来质谱就彻底安详地“去世”了,对外界失去了所有响应,连个指示灯都不亮了。
对于这种毫无反应的情况当时就判断是电源问题,我们便和导师一起几个人就把电源卸开了,果然在下层板发现了一处烧板,并且在上层板看到了3个10R0
电阻腐蚀脱落。
壹、维修
安捷伦7900A的电源模块是韩国NAO Technology的G3280-80000,为上下两层结构,下层为整流板、上层为逆变板,两块板之间通过夹在两个散热风扇间的两根线连接。我们的故障便发生在两块板间的风扇侧,很明显是由于7年来的积灰和今年夏天关机后实验室潮湿导致的。与安捷伦的工程师沟通后,他们表示九月份接到了很多电源故障的情况,并且故障大多发生在假期长时间停机后再开机的过程中。安捷伦官方只能提供电源模块的整体更换,并不提供模块内的维修服务,这款电源官方的报价近6万元。我们的实验室相干的激光光源刚刚损坏,更换大型光源组件开销估计也要70万左右,接连的硬件损坏和并不充裕的维修经费产生了很大的矛盾。
最终,国庆后我们直接将两块板拆下来的电源板送去了合肥某专门维修电路板的自控公司,以两块板5500的价格进行了维修。大概10天后的10月16日,工程师通知我们电源维修好了,我们将其带回来并装机测试,ICP-MS点火和分析一切正常(图中未通样品气体,导致质谱仪内部背景信号较高)。
贰、排障
11月11日早上,上海仪真和PMI的工程师忙碌一周彻底装完IRIDIA激光器并离开的次日,博主像往常一样点击了点火准备开始实验,质谱仪毫无征兆地出现了1213 RF48V电源电压低的报错。我将万用表用线接在了TRM1的RF 48V供电上,再次执行等离子体点火,期间观察发现万用表测得TRM1没有任何输出。结合之前的电源故障,我们理所当然地认为电源没完全修好二进宫了,商量之后在周一拆下来又一次送到了修电路板的公司进行处理。
然而两天后,自控公司的工程师发来一张他测得48v的图片,告诉我们48v是由外部触发的,电源没有问题让我们检查外部电路。期间,我们向他咨询如何短接触点激活48v输出进行测试,工程师没有正面回复。电源拿回来之后,我们又一次装机、启动真空、点火,不出意外地又是1213报错。安捷伦的工程师对故障的态度依然是更换,做安捷伦电源维保的三方公司则表示可能是RF 48v输出到的射频电源存在问题损坏了电源模块,建议对RF电源一并进行检查或更换。这个时候,导师便开始准备开始着手推进购置替换电源的事务了。
本着“活要见人、死要见尸”的态度,一定要亲手测测48v输出,还有就是电源既然已经判定坏了,那就不怕上手做一些测试了。在这个时候,通过右键MassHunter窗口,输入密码tokyo81
进入工程师模式后,可以看到在勾选+48V PS On测试按钮后,RF PS +48V检测器反馈没有电压,RF PS +48V和Voltage Too Low两项报错。我检查了工程师模式下每个项目的状态,除此了这两个报错之外,没有其他任何异常。基于维修工程师展示电源具有48v输出能力和质谱仪工程师模式无法触发48v,我开始猜测电源主控电路或内部触发线路存在问题。
安捷伦7900配备的电源模块型号是G3280-80000(旧版)和G8400-80500(新版),两个型号电源参数和接口是一致的,都是一个20pin CN4接口、一个3.5a 48v的CN5接口和一个50a 48v的TRM1接口。大型仪器由于保有量的原因,在互联网上资料是相当匮乏了,我偶然看到了济南孔师傅发在B站的视频,其中展示了一页包含CN4接口定义的维修手册,还有在测试48v时用镊子短接电源触点的操作(BV1uT411t7Se
和BV1Ly4y1N7ND
)。因为安捷伦7900的配件大多都是以G8400开头的,且我们的电源虽然是G3280-80000但却是由韩国NAO生产,与G8400-80500完全相同,因此我认为这两个型号查到的资料是互通的。
根据孔师傅的操作,CN4接口的电压可对外壳进行测试。我们的G3280-80000在上电并合上电源背后空开之后,电源会直接启动,风扇旋转,但此时TRM1和CN5均没有48v输出。经过一番对外壳的电压测试,如图所示,博主发现除了铭牌上标注的24v和5.2v之外,还有两个3.5v的触点,其中一个刚好位于接口下侧的中间(但与孔师傅两个视频中短接的都位于上侧不同)。对这两个3.5v触点对地短接后,发现下排第6口对地短接后能够触发TRM1和CN5的48v输出,而下排第10口对地短接电源会进入关闭状态。
至此,我可以肯定自控的工程师说的没错,电源是有48v输出的能力,而关键问题在于质谱仪主板没有触发电源的48v输出。在征得导师同意后,我将电源装机,并将激活48v的3.5v信号线并了一根线出来,然后正常对质谱仪开机、开真空。然后就发现,手动触发48v后RF PS +48V和Voltage Too Low两项报错均变为OK状态。再三确认质谱仪所有仪表没有其他报错之后,我点下了等离子体点火,然后就是熟悉的气闸声、冷却水闸阀开启、RF反射功率上升……炬管亮起并进入分析模式那一刻,真的还是觉得四五个小时的折腾挺值得的。
叁、插曲
需要注意的是,博主绝对不推荐用这样可能破坏仪器自身安全保护的方法来修仪器,博主也很害怕会出问题,所以此后的四天实验期间我连吃饭都是在实验室让别人带过来的。11月16号上演的就是现实版“惊弓之鸟”,当时刚刚因为灵敏度问题更换了质谱仪截取锥,ICP部分有诡异的“叽叽咕噜”那种气体钻进夹缝的声音,当时不知道原因,后来另一位负责MC-ICP-MS实验室老师说是因为氩气不纯导致的。
在那之后估计半小时,下午两点多突然听到质谱仪那里“boom”巨大一声爆响,紧接着质谱仪显示1307 透镜和EM电源无法打开,因硬件错误采集停止,仪器间能听到气体喷出的声音。当把博主时魂都吓飞了,立马点熄火、卸真空、关电源、关冷水机、关氩气、摇导师一气呵成……当时把质谱机壳拆了没看到哪里炸了,没闻到糊味,摸一摸发出声音的真空泵底下能摸到大量的气体吹出,当时我一度以为真空腔炸了,怎么真空泵抽出来这么多气体。
二十分钟之后真空已经关闭了,真空泵按理来说已经停止工作了,然后我又关闭了真空泵的电源,但是真空泵下面仍有巨大的气流声。再往仔细一看,好家伙是氮气的软管因为无法承受气体压力发生了爆裂,关闭氮气闸阀之后世界恢复了平静。
冷静下来我翻了翻材料箱子,把我们的硬管全掏出来了,但是4mm管子不够长,最后用了2个三通加2根2mm管子并起来,并且把氮气降到了0.4mpa。到这时我才注意到最先的故障是激光器上的Beam Purge Gas Waring,也就是激光剥蚀系统的光路保护气出错了。那时我已经不敢再尝试点火了,等导回来检查了一下硬件,装上外壳合上顶盖重新初始化点火,仪器一切工作正常,虚惊一场。
归根结底,就只是一根软管炸了。我们当时4mm的PVC硬管不够长了,这4mm软管是Photon Machines的老外工程师给的,他说完全可以。而质谱抛出的EM电源异常报错,很可能是由于爆裂瞬间的冲击导致仪器产生了误报,本身与RF电源无关。这段经历可谓是现实版“惊弓之鸟”,心里害怕质谱仪电源出异常状况,明明不是质谱仪炸了,却因为软管的爆炸整个人被吓麻了。
肆、平静
从11月16号之后到现在,经过了4天的观察,仪器整体工作状态整体都非常良好。我从报废的冷水机上拆了一个电源开关,装在了48v信号线上,这样控制48v的开关也就更为方便了。
新的Teledyne Photon Machines的IRIDIA激光器确实好用,在6J/cm2的能量下,20微米束斑打石英这样硬度大且透明的矿物跟玩一样。配图为磷灰石,新的显微观察系统质量也提升了很多。
伍、结语
这个故障的教训是非常明确的,预防这样的故障应当注意以下三点:①质谱仪长时间不工作时,只需关闭真空使仪器进入关闭模式,无需关闭电源按钮使电源彻底关闭;②质谱仪电源的风扇侧灰尘应适时进行清理,避免因返潮导致的电路腐蚀;③对实验室湿度应当加以控制,湿度较大时不应使仪器直接关机冷机。
当然,这次的经历之后我们依然有很多无法解释的问题,比如:①驱动RF射频电源的48v是在什么情况下触发的?这个触发机制包括的保护逻辑是什么?②我们这样做对RF电源的风险有多大?MassHunter的工程师模式是可以手动打开48v输出的,RF电源本身对48V供电是否有保护机制?③没有故障过的G3280-80000/G8400-80500电源,48v输出触点是否与我们一样?是否有渠道获取到这个电源的工程资料?④有哪些可能的情况,导致我们在电源在输出能力正常的情况下,仅仅出现无法触发48v输出的问题?
这些问题安捷伦的工程师并没有给出明确的答案,做电源维保的工程师也无法拿定。明年毕业季的脚步临近,加上近三个月的LA故障停机,实验室的正常运行关乎很多同学的大小论文。目前的处理方式仪器已平稳地工作了一个星期,并且未出现其他异常情况,导师在综合考虑后,暂时决定在繁忙的时间里先这样运行着,待后面稍微空闲的时间对电源进行更换,彻底解决这个问题(如果找到确切的原因,博主会在此进行更新)。博主呢,也写了一个简要的说明,要求实验室值班人员在开启48v供电到点火过程高度警惕异常情况,并尽量避免人为原因导致的熄火,最大限度减少RF电源面临的潜在异常情况。
以上就是对电源故障处理的一点记录,希望对同样遇到这样问题的您有所帮助。另外,如果您有好的思路,或能够分享一些帮助我们解决问题的思路,我们将不胜感激~
*原创文章,转载请注明出处
看完了,感觉能用万用表测试都流批。上次我司某客户服务器挂了,一直卡bios界面不进自检,我取下主板电池,单cpu 单双内存开机全开不起,联系硬件厂商拿来原厂主板也不行,ipmi也不报错,最后折腾整整两天发现有是一根内存条引起的,插上这根就不行
楼主计算机那么牛逼
为啥不转码?
地质毕业即失业啊
祝好