澳门威呢斯人运维经验分享:故障处理方法总结

导读:为了提高广大初入此行的网管读者们的紧急故障处理水平,故策划了本文,将这几年来的经验撰写出来,与读者分享管理思路和控制管理能力的思维。

导读:为了提高广大初入此行的网管读者们的紧急故障处理水平,故策划了本文,将这几年来的经验撰写出来,与读者分享管理思路和控制管理能力的思维。

1.状态检修模式
状态检修模式是高压配电室内高压配线线路的主要故障检修模式,状态检修模式主要采取主动检修的方式来针对高压配电室内各部分线路的运行故障进行处理和检测,从而避免安全隐患的产生和发展,状态检修和其他检修方式相比最大的优势就是检修人员能够在第一时间内明确故障发生的范围并采取相应的措施并加以解决,可以减少和降低大部分安全隐患的产生,能够保障高压配电的正常工作和运行。
2.对自然环境的预防
自然环境对高压配电室的影响通常是指由于天气因素所引发的环境污染造成供电故障的发生,在雷雨天气,电力人员要安装相应的避雷器,避免累积对高压配电室的影响,有关人员应该定期对高压配电室内继续检修和保养,并和有关气象部门合作,确保高压配电室的正常运行和工作。

华夏汽配网消息,

随着信息化进程的飞速发展,网络已经成为每个现代企业必须的要素之一。相对于网络维护,网络运维更加侧重于保障网络系统的正常运行,运维有运行和维护两层含义。对于一个系统,有时出错我们无法预知,系统越复杂,其难维护难度更大,为了减少损失,我们尽可能地去预防各种错误,对于突发情况,尽可能地去修复。

随着信息化进程的飞速发展,网络已经成为每个现代企业必须的要素之一。相对于网络维护,网络运维更加侧重于保障网络系统的正常运行,运维有运行和维护两层含义。对于一个系统,有时出错我们无法预知,系统越复杂,其难维护难度更大,为了减少损失,我们尽可能地去预防各种错误,对于突发情况,尽可能地去修复。

从事运维一年半,遇到过各式各样的问题,数据丢失,网站挂马,误删数据库文件,黑客攻击等各类问题

花塞上有油性沉积物是润滑油进入,绝缘体顶端碎裂可能是汽油标号低.在保养汽车时,应多关注火花塞的状况据获悉,性能优良的火花塞可加强车辆动力性能。

紧急故障解决的通用流程

紧急故障解决的通用流程

今天想简单整理一下,分享给各位小伙伴

常常情况下,火花塞的使用寿命为15000公里,长效火花塞的使用寿命也不超过30000公里。但是不少车主的火花塞常常出现这样那样的问题,达不到其正常使用寿命。

在本文开始前,笔者先给出紧急故障解决的流程图,见图一。

在本文开始前,笔者先给出紧急故障解决的流程图,见图一。

澳门威呢斯人 1

其实,火花塞的工作温度是相当高的。发动机正常运转时,火花塞绝缘体裙部的温度通常保持在500到600摄氏度之间。温度过高或过低对火花塞影响都不好。在火花塞温度过低的情况下,火花塞上的绝缘体容易积炭,最终引发漏电以至于产生缺火现象。假如火花塞工作温度过高,容易引发早燃和发动机爆震。在奇瑞汽车训练营中,专卖店的工作人员将火花塞出现的常见故障归纳为两种。一为火花塞严重烧蚀,另一种为火花塞有沉积物。

澳门威呢斯人 2

澳门威呢斯人 3

一、线上操作规范

火花塞烧蚀

图一

图一

当车主发现火花塞顶端有疤痕或是破坏、电极出现熔化、烧蚀现象时,都说明火花塞已经毁坏,此时就应该更换火花塞。在更换过程中车主可以检查火花塞烧蚀的症象以及颜色的变化。

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

根据上述流程图,我们可以一目了然明白处理网络运维的紧急故障的处理流程。

1.测试使用

症状1:电极熔化且绝缘体呈白色

当客户端发生网络中断的故障后,首先判断用户或终端)到三层网关设备之间通道是否存在问题,从用户或终端)上ping网关是否能通,用户或终端)自身是否发生问题。

当客户端发生网络中断的故障后,首先判断用户(或终端)到三层网关设备之间通道是否存在问题,从用户(或终端)上ping网关是否能通,用户(或终端)自身是否发生问题。

当初学习Linux的使用,从基础到服务到集群,都是在虚拟机做的,虽然老师告诉我们跟真机没有什么差别,可是对真实环境的渴望日渐上升,不过虚拟机的各种快照却让我们养成了各种手贱的习惯,以致于拿到服务器操作权限时候,就迫不及待的想去试试,记得上班第一天,老大把root密码交给我,由于只能使用putty,我就想使用xshell,于是悄悄登录服务器尝试改为xshell+密钥登录,因为没有测试,也没有留一个ssh连接,所有重启sshd服务器之后,自己就被挡在服务器之外了,幸好当时我备份了sshd_config文件,后来让机房人员cp过去就可以了,幸亏这是一家小公司,不然直接就被干了……庆幸当年运气比较好。

诊断:这种现象说明燃烧室内温度过高。这可能是燃烧室内积炭过多汽车配件网指出,从而造成气门间隙过小,进一步引发排气门过热或是冷却装置工作不良造成的。在火花塞未按规定力矩拧紧时也会造成电极熔化,绝缘体呈现白色的现象。

二层网络是否正常:如果用户或终端)ping网关不通,则检查下端二层网络、用户网线、三层网关设备以下网线或光纤是否正常,端口是否UP,是否有CRC
error报文统计。检查二层网络中的交换机设备是否能正常学习到用户MAC地址,检查三层网关设备与二层交换设备之间的连通性、二层设备的CPU利用率是否正常,是否有二层环路造成或病毒攻击。首先确保用户或终端)能正常ping通网关设备。

二层网络是否正常:如果用户(或终端)ping网关不通,则检查下端二层网络、用户网线、三层网关设备以下网线或光纤是否正常,端口是否UP,是否有CRC
error报文统计。检查二层网络中的交换机设备是否能正常学习到用户MAC地址,检查三层网关设备与二层交换设备之间的连通性、二层设备的CPU利用率是否正常,是否有二层环路造成或病毒攻击。首先确保用户(或终端)能正常ping通网关设备。

第二个例子是关于文件同步的,大家都知道rsync同步很快,可是他删除文件的速度大大超过了rm
-rf,在rsync中有一个命令是,以某目录为准同步某文件(如果第一个目录是空的,那么结果可想而知),源目录(有数据的)就会被删除,当初我就是因为误操作,以及缺乏测试,就目录写反了,关键是没有备份……生产环境数据被删了

症状2:电极变圆且绝缘体结有疤痕

三层网络是否正常:可以通过telnet/console口登陆三层设备,如果有问题,通过ping、tracert、show
logging、端口统计、CPU利用率统计、链路状态、路由表状态、MPLS标签表状态等对问题进行分析,在业务忙时,不得擅自重启或倒换三层核心路由器等设备。

三层网络是否正常:可以通过telnet/console口登陆三层设备,如果有问题,通过ping、tracert、show
logging、端口统计、CPU利用率统计、链路状态、路由表状态、MPLS标签表状态等对问题进行分析,在业务忙时,不得擅自重启或倒换三层核心路由器等设备。

没备份,大家自己想后果吧,其重要性不言而喻。

诊断:这就说明发动机早燃,可能是点火时间过早或者汽油辛烷值过低,火花塞热值过高等原因带来的。

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

如果用户上网或承载业务仍然存在故障,可以查看DNS等外界环境是否正常,承载的业务本身是否发生问题,查看相关告警,然后做出相应的处理。

2.Enter前再三确认

症状3:绝缘体顶端碎裂

其它问题,如果现场不能解决,就通报关键用户并联系厂商解决。

其它问题,如果现场不能解决,就通报关键用户并联系厂商解决。

关于rm -rf /
var
这种错误,我相信手快的人,或者网速比较慢的时候,出现的几率相当大

诊断:通常来说,爆震燃烧是绝缘体破裂的重点原因。而点火时间过早、汽油辛烷值低、燃烧室内温度过高,都可能导致发动机爆震燃烧。

在本文中,笔者就以网络不通的故障为例,讲解网络运维的紧急故障处理的比较通用的思路和解决方式。

在本文中,笔者就以网络不通的故障为例,讲解网络运维的紧急故障处理的比较通用的思路和解决方式。

当你发现执行完之后,你的心至少是凉了半截。

症状4:绝缘体顶端有灰黑色条纹

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

假设有一天,接到通知报告网络不通了。给人的第一感觉是某个服务出现异常而中断,比如打不开OA页面,或者打不开Google页面。让我们看看,一个合格的运维人员是如何循遵怎样的思路来寻找故障的原因并解决的。

大家可能会说,我按了这么多次都没出过错,不用怕,我只想说

诊断:这种条纹的出现说明火花塞已经漏气,车主需要无条件更换新件。

确定哪些服务中断

当出现一次你就明白了,不要以为那些运维事故都是在别人身上,如果你不注意,下一个就是你。

火花塞上有沉积物

首先要做的就是区分内网服务和外网服务。

3.切忌多人操作

火花塞绝缘体的顶端和电极间有时会粘上沉积物。车主不要小看这种沉积物。

在笔者所在公司中,很多自己开发的、只限于公司员工使用的服务都是内网服务,比如OA、邮箱、ERP等等。而像QQ、微博那样的则属于外网服务了。

我在的上一家公司,运维管理相当混乱,举一个最典型的例子吧,离职好几任的运维都有服务器root密码。

严重时这种情况可能造成发动机不能正常工作。在清洁火花塞后,车辆暂时可以得到正常运转,但不久后又会出现类似情况。事实上,火花塞出现沉积物只是一个表面现象,这有可能是车辆别的机械部件出现问题的信号。

在这样的环境下,内网服务的网络关键节点如下所示:

通常我们运维接到任务,都会进行简单查看如果无法解决,就请求他人帮忙,可是当问题焦头烂额的时候,客服主管(懂点linux),网管,你上司一起调试一个服务器,当你各种百度,各种对照,完了发现,你的服务器配置文件,跟上次你修改不一样了,然后再改回来,然后再谷歌,兴冲冲发现问题,解决了,别人却告诉你,他也解决了,修改的是不同的参数……这个,我就真不知道哪个是问题真正的原因了,当然这还是好的,问题解决了,皆大欢喜,可是你遇到过你刚修改的文件,测试无效,再去修改发现文件又被修改的时候呢?真的很恼火,切忌多人操作。

症状1:火花塞上有油性沉积物

终端→接入交换机→联网路由器→核心路由器→核心交换机→服务器

4.先备份后操作

诊断:当火花塞上出现油性沉积物时,就说明润滑油已进入燃烧室内。假如只是个别火花塞上有油性沉积物,则可能是气门杆油封损坏造成的。但假如是各个缸体的火花塞都粘有这种沉积物,则表现气缸出现蹿油。通常来说,在空气滤清器和通风装置堵塞的情况下,汽缸极易出现蹿油的现象。

依赖的基础服务为:内网DNS服务器。

养成一个习惯,要修改数据时,先备份,比如.conf的配置文件

症状2:火花塞上有黑色沉积物

外网服务的网络关键节点如下所示:

另外,修改配置文件时,建议注释原选项,然后再复制,修改

诊断:火花塞电极和内部有黑色沉积物,常常说明气缸内混合气体过浓。车主可以增高发动机运转速度,并持续几分钟,借以烧掉留在电极上面的一层黑色煤烟层。

终端→接入交换机→核心交换机→互联网接入交换机→上网行为管理设备→互联网防火墙→外网服务器

再者说,如果第一个例子中,有数据库备份,那rsync的误操作不久没事了吧

依赖的基础服务为:内网DNS服务器,公网DNS服务器。

所以说丢数据库非一朝一夕,随便备份一个就不用那么惨。

如果当前访问的服务突然中断,那么首先看看是内网的服务还是外网的服务。然后再在内网和外网分别自选一种服务尝试访问一下。例如ERP突然无法访问了,那就尝试访问一下内网的门户系统和邮件系统,以及外网的一个知名网站。

二、涉及数据

以下表格(表二)有助于理解故障寻找的过程和思路:

澳门威呢斯人 4 
澳门威呢斯人 5

1.慎用rm
-rf

表二

网上的例子很多,各种rm
-rf /,各种删除主数据库,各种运维事故……

确定其他人的症状相同

一点小失误就会造成很大的损失。如果真需要删除,一定要谨慎。

只是从自己的机器对网络和服务做出判断并不够客观,也不够严谨。前面我们已经大致的推测出故障原因,在这一节我们尝试对这个推测进行证明。

2.备份大于一切

要记住这一点:可重复的结果才是基本可靠的结果。

本来上面都有各种关于备份,但是我想把它划分在数据类再次强调,备份非常之重要哇

为了证实测试结果的可重复性,我们需要从不同的网络起点重复相同的测试步骤。

我记得我的老师说过一句话,涉及到数据何种的谨慎都不为过

让我们以公司的实际场景来阐述分析故障的思路。目前随着网络技术的成熟,网络架构也趋于稳定,一般的全省级的公司网络拓扑示意图如图三:当然,实际工作中,地市分公司下面,根据业务需要,还会有县级的办公网络、营业网点,实际广域网络会达到三层。

我就职的公司有做第三方支付网站和网贷平台的

1、要保障全省骨干网络运行安全,在总部核心区域会采用双核心路由器和双核心交换机的冗余架构,做到核心设备和线路的冗余,并保证网络业务调整的弹性;

第三方支付是每两个小时完全备份一次,网贷平台是每20分钟备份一次

2、服务器区根据业务运行安全考虑,也将进行分区,不同业务区域的服务器接入不同的服务器交换机,双线上联到核心交换机。

我不多说了,大家自己斟酌吧

3、地市公司采用路由器和省公司联网,公司在线业务系统重要性较高的情况下,地市分公司到总部会采用租用不同运营商的线路,做双线上联。

3.稳定大于一切

4、,公司的办公室电脑通过接入交换机接入局域网。接入交换机上可根据办公业务区域划分VLAN,增加内网安全性。

其实不止是数据,在整个服务器环境,都是稳定大于一切,不求最快,但求最稳定,求可用性

澳门威呢斯人 6

所以未经测试,不要再服务器使用新的软件,比如nginx+php-fpm,生产环境中php各种挂啊

图三

重启下就好了,或者换apache就好了。

在这种网络环境下,将一般骨干网出故障的情况降到最低,但是实际工作中,还是有不少网络用户会反映这样那样的网络问题:例如我们自己的计算机客户端不能访问ERP系统,并且Ping不通ERP系统的IP地址,那么我们会据此推测ERP系统的服务器失去响应了;如果在自己电脑上还能ping通其它服务器IP地址,或访问其它服务(譬如WEB方式访问OA正常),那ERP系统的服务器失去响应了可能性大大加强;最后,如果在我隔壁办公室的同事也出现了同样的问题,我们就有更大的把握说ERP系统确实出现了问题;如果其它反之,如果其他人一切正常,只有我自己无法访问ERP系统,那么很大的概率是自己的计算机出现了问题。

4.保密大于一切

确定服务中断是软件还是硬件所致

现在各种艳照门漫天飞,各种路由器后门,所以说,涉及到数据,不保密是不行的。

如果某个服务出现中断,大致上的原因一般为网络链路、网络设备、服务器等硬件问题或者服务器操作系统、应用系统等软件问题。我们可以使用ping这个操作系统自带的命令行工具来对这两种原因进行区分。

三、涉及安全

判断原则:Ping不通服务的IP地址属于硬件故障,能ping通则为软件故障。

Ping不通服务的IP地址属于硬件故障,能ping通则为软件故障。但是如果设置了服务器不对Ping做出响应的话,这时候可以使用nmap来探测目标设备。有关nmap的资料可参阅《浅议广域网中主机发现与管理:

1. ssh

其他人和我一样吗?其它系统和疑似故障系统一样吗?

  • 更改默认端口(当然如果专业要黑你,扫描下就出来了)

  • 禁止root登录

  • 使用普通用户+key认证+sudo规则+ip地址+用户限制

  • 使用hostdeny类似的防爆里破解软件(超过几次尝试直接拉黑)

  • 筛选/etc/passwd中login的用户

只是从自己的机器对网络和服务做出判断还是不够客观的,我们还需要更严谨的论证。前面我们已经大致的推测出故障原因,在这一节我们尝试对这个推测进行证明。

2.
防火墙

判断原则:可重复的结果才是基本可靠的结果。

防火墙生产环境一定要开,并且要遵循最小原则,drop所有,然后放行需要的服务端口。

让我们以几个假设来掩饰解决故障的思路。

3.精细权限和控制粒度

假设1:总部A用户Ping不通服务器a而B用户可以。

能使用普通用户启动的服务坚决不使用root,把各种服务权限控制到最低,控制粒度要精细。

因为A与B用户访问服务器a走过的是同样的网络路径,都是经过接入交换、核心交换、服务器交换,所以问题出在甲用户的自身。

4.入侵检测和日志监控

假设2:总部A用户可以访问服务器a而不能访问服务器b,B用户有同样的故障现象。

  • 使用第三方软件,时刻检测系统关键文件以及各种服务配置文件的改动

    比如,/etc/passwd,/etc/my.cnf,/etc/httpd/con/httpd.con等;

  • 使用集中化的日志监控体系,监控/var/log/secure,/etc/log/message,ftp上传下载文件等报警错误日志;

因为A与B用户访问服务器a、b走过的是同样的网络路径,所以一般可以证明是服务器b本身问题或者是服务器b接入交换机硬件设备或上下行网络链路问题。

另外针对端口扫描,也可以使用一些第三方软件,发现被扫描就直接拉入host.deny。这些信息对于系统被入侵后排错很有帮助。有人说过,一个公司在安全投入的成本跟他被安全攻击损失的成本成正比,安全是一个很大的话题

假设3:某个分公司E用户与F用户不能访问任何一台服务器,而总部A、B和分公司C、D四个用户没问题。

也是一个很基础的工作,把基础做好了,就能相当的提高系统安全性,其他的就是安全高手做的了

因为该分公司E、F用户访问任何一台服务器都要经过分公司接入交换2和联网路由2,所以应该联网路由2是关键节点,联网路由2本身的物理故障、联网路由的协议、或者网路由2和核心路由网络链路故障都是首先排除范围。

四、日常监控

假设4:某个分公司C用户发现无法访问服务器a,询问后得知其他用户故障现象相同。

由于每个用户访问服务器a的路径不同,所以越靠近终点的网络路径和网络设备可疑性最大。从图三来看节点是服务器a的接入交换机这节点可能性最大,为较严重故障。

1.系统运行监控

确定断点在何处

好多人踏入运维都是从监控做起,大的公司一般都有专业24小时监控运维。系统运行监控一般包括硬件占用率

根据前面的排查,已经可以基本的确定是不是服务器的问题。如果是网络的问题,那么我们还要确定出断点才行。现在,我们要使用ping和tracert这两条命令完成这项工作。

常见的有,内存,硬盘,cpu,网卡,os包括登录监控,系统关键文件监控

假如我们事前已经对网络的拓扑很了解,并且知道一些关键节点的IP地址,那么我们只需要参考由近至远的原则逐个ping这些IP地址就可以知道断点的位置了。可是我们日常要访问的服务有很多,怎样才能知道数据怎样从我自己的计算机流向某个服务器的呢?Tracert命令就是为了解决这个问题的。只要Tracert某个域名或者IP地址,它就会把经过的设备的IP地址按照先后顺序显示在屏幕上。如果从某一行开始就不再显示IP地址,那么它的前一行的IP就是你尝试访问的目标所能到达的最后一台设备的IP地址。

定期的监控可以预测出硬件损坏的概率,并且给调优带来很实用的功能

建议在平时网络正常的时候就Tracert一些经常访问服务器的IP地址,记录下来正确的步骤是怎样的。等日后服务出现中断时可以用来比较路由有没有发生变化。

2.服务运行监控

确定真正故障原因

服务监控一般就是各种应用,web,db,lvs等,这一般都是监控一些指标

故障的原因永远是匪夷所思的,需要专业的技能来做综合的分析、全盘的考虑和一些专业的测试。既然作为一个用户不可能做到这些,那么还是把探索真相这项艰巨的任务交由那些专业人士来完成吧。下面给出一张有可能造成服务中断的故障原因的统计图表,见图四。

在系统出现性能瓶颈的时候就能很快发现并解决。

澳门威呢斯人 7

3.日志监控

图四

这里的日志监控跟安全的日志监控类似,但这里一般都是硬件,os,应用程序的报错和警报信息

题外话

监控在系统稳定运行的时候确实没啥用,但是一旦出现问题,你又没做监控,就会很被动了

现在公司信息中心的岗位划分的比较细,如果你是某个专业应用的项目组,那么假设你现在已经大致知道了发生了什么事,还知道了哪些部门需要对此事负责,那么就致电需要对此事负责的部门,询问当前是不是一次计划内的停机或者检修。如果是的话,弄明白为什么事前没有收到通知。如果不是计划内的,告诉他们你已经掌握的所有事情,这可以帮助他们尽快修复。然后致电所有你在排查期间帮助过你的其他部门或者同事,通报最新的消息给他们。最后致电你的关键用户,向他们解释发生了什么事,告知有望恢复正常的时间,并通过有效手段发布通知所有可能受到影响的终端用户群。

另外,如果问题处在自己负责维护的范围内,请在第一时间修复。

五、性能调优

如果你是地区公司的网管,首先要看这次服务中断是不是发生在你自己的职责范围内。如果是的话,修好它。然后通知本公司的关键客户,把问题解释清楚。如果你的反应比较迟缓,那么你的关键用户有可能直接询问总部的相关负责人,最后再找回到你的时候压力会大得多。最后通知可能被涉及的所有终端用户。

结语

1.深入了解运行机制

网络运维有不同的分工,在大公司和大网络环境中这种分工很明确,比如有设计规划网络的,有管理网络安全的……很系统,也很专业,要达到这样的高度,需要有深入的理论基础和丰富的实际经验作为保证。

其实按一年多的运维经验来说,谈调优根本就是纸上谈兵,但是我只是想简单总结下,如果有更深入的了解,我会更新。在对软件进行优化之前,比如要深入了解一个软件的运行机制,比如nginx和apache,大家都说nginx快,那就必须知道nginx为什么快,利用什么原理,处理请求比apache,并且要能跟别人用浅显易懂的话说出来,必要的时候还要能看懂源代码,否则一切以参数为调优对象的文档都是瞎谈。

然而在相对较小的网络环境中,网络管理员负责的事情是从设计规划网络,建设网络,管理服务器,到购买网络设备等所有与网络有关的事情,经常被作为”万精油”来使用。所以说做这一行的挑战是很大的,是否能有长进取决于自己。如果能够一直坚持做下来,并且抓紧时间不断补充新知识,最终还是可以达到网络管理的顶峰。

2.调优框架以及先后

如何开始面对那么多的工作内容,我们首先要清理出主次先后。第一步就是要从了解操作系统出发,因为大部分时间我们都是在与各种操作系统打交道,如Windows、Linux、Unix和Mac
OS
X都是需要涉及的。了解了这些操作系统的理论知识和操作方法还不够,我们还必须具备解决问题的能力。这需要很强的操作能力和清晰的思路,你可以去网上看看讨论区的文章,多动手处理实际问题。解决问题时不仅要知道解决之道,而且要学会去发现导致问题的原因。

熟悉了底层运行机制,就要有调优的框架和先后顺序,比如数据库出现瓶颈,好多人直接就去更改数据库的配置文件,我的建议是,先根据瓶颈去分析,查看日志,写出来调优方向,然后再入手,并且数据库服务器调优应该是最后一步,最先的应该是硬件和操作系统,现在的数据库服务器都是在各种测试之后才会发布的

适用于所有操作系统,不应该先从他入手。

3.每次只调一个参数

每次只调一个参数,这个相比大家都了解,调的多了,你就自己就迷糊了。

4.基准测试

判断调优是否有用,和测试一个新版本软件的稳定性和性能等方面,就必须要基准测试了,测试要涉及很多因素

测试是否接近业务真实需求这要看测试人的经验了,相关资料大家可以参考《高性能mysql》第三版相当的好

我的老师曾说过,没有放之四海皆准的参数,任何参数更改任何调优都必须符合业务场景

所以不要再谷歌什么什么调优了,对你的提升和业务环境的改善没有长久作用

六、运维心态

1.控制心态

很多rm -rf
/data都在下班的前几分钟,都在烦躁的高峰,那么你还不打算控制下你的心态么

有人说了,烦躁也要上班,可是你可以在烦躁的时候尽量避免处理关键数据环境

越是有压力,越要冷静,不然会损失更多。

大多人都有rm
-rf
/data/mysql的经历,发现删除之后,那种心情你可以想象一下,可是如果没有备份,你急又有什么用,一般这种情况下,你就要冷静想下最坏打算了,对于mysql来说,删除了物理文件,一部分表还会存在内存中,所以断开业务,但是不要关闭mysql数据库,这对恢复很有帮助,并使用dd复制硬盘,然后你再进行恢复

当然了大多时候你就只能找数据恢复公司了。

试想一下,数据被删了,你各种操作,关闭数据库,然后修复,不但有可能覆盖文件,还找不到内存中的表了。

2.对数据负责

生产环境不是儿戏,数据库也不是儿戏,一定要对数据负责。不备份的后果是非常严重的。

3.追根究底

很多运维人员比较忙,遇到问题解决就不会再管了,记得去年一个客户的网站老是打不开,经过php代码报错

发现是session和whos_online损坏,前任运维是通过repair修复的,我就也这样修复了,但是过了几个小时,又出现了

反复三四次之后,我就去谷歌数据库表莫名损坏原因:一是myisam的bug,二是mysqlbug,三是mysql在写入过程中

被kill,最后发现是内存不够用,导致OOM
kill了mysqld进程

并且没有swap分区,后台监控内存是够用的,最后升级物理内存解决。

4.测试和生产环境

在重要操作之前一定要看自己所在的机器,尽量避免多开窗口

以上几点是我自己工作体会,希望能给部分运维人员带来一些帮助,如有不足,欢迎指教

发表评论

电子邮件地址不会被公开。 必填项已用*标注