运维日志
发布网友
发布时间：2022-10-08 05:47
共1个回答
热心网友
时间：2023-11-05 02:46
运维日志
长久以来，日志管理都是IT运维工程师不可回避的工作，它不但可以跟踪IT基础设施活动，更是回答故障是否发生、如何发生、何时发生、在何处发生的最佳答案。
如果把运维看做是医生给病人看病，则日志就是病人对自己的陈述，很多时候医生需要通过对病人的描述中得出病人状况，是否严重，需要什么计量的药，什么类型的药。所以古人有句话叫对症下药，这个症就是病人的描述加医生的判断，在重一点的病在加上很多的化验。在医生看病时病人的描述和化验单上的数据对医生是非常重要的。同理日志在运维中的作用也是类似的，但非常不幸，日志在很多运维中被严重低估，直到磁盘空间不足的时候才想到，这有个大的日志文件把他删了，这样可以节省空间。
下面我们来看一下常用的监控系统，界面做的很漂亮，功能也很多，但是有个疑问就是你会天天盯着这个界面看吗?我感觉绝大多数人不会，很多人关注的是异常点，就是当系统有问题的时候，你告诉我哪里有问题，然后我在根据问题去分析，去处理，当然做处理的时候，这个系统就会用上了。
那上面这些内容和日志有什么关系呢?
日志本身是没有价值的，只有对日志进行分析加以利用的.时候才会有价值，日志中包含非常多的有用的信息，不光包括运维层面，还包括业务层面，安全层面。很多时候运维需要的是一个统一告警平台，但告警的依据绝大多少是对日志等进行自动化的分析得出的结论，所以说日志是很重要的。
什么是日志
简单地说，日志就是计算机系统、设备、软件等在某种情况下记录的信息。具体的内容取决于日志的来源。例如，Unix操作系统会记录用户登录和注销的消息，防火墙将记录ACL通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。日志中有大量信息，这些信息告诉你为什么需要生成日志，系统已经发生了什么。例如，Web服务器一般会在有人访问Web页面请求资源(图片、文件等等)的时候记录日志。如果用户访问的页面需要通过认证，日志消息将会包含用户名。这就是日志数据的一个例子：可以使用用户名来判断谁访问过一个资源。通过日志，IT管理人员可以了解系统的运行状况，安全状况，甚至是运营的状况。
日志能做什么
在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志还能告诉你很多关于网络中所发生事件的信息，包括性能信息、故障检测和入侵检测。日志会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志可以为审计进行审计跟踪。
从一条日志说起
111.88.155.166 - - [17/Dec/2015:13:06:05 +0800] "POST /login HTTP/1.1" 302 0 "http://secilog.abc.com/login?langType=zh" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
这是一条很普通的nginx中记录的日志，日志的详细内容可查阅相关文档。这里简单说明一下主要的内容。从日志中可以得到访问者的IP，访问的时间，时区，请求的方式，请求页面，返回状态，来源等等信息。仔细一看请求的页面/login就可以猜到只是一个登录请求页面。这条日志的重要含义是登录成功。
从这条日志怎么和我们关注的指标对应的，我们下面接着分析。
活跃用户数，活跃用户说一般是指同一天有多少老用户登录过系统。这个时候就会发现，刚才的登录日志中如果放到一天的统计中就可以知道，一天内有多少次成功等登录的次数了，但细心的用户可以发现，不准确，因为用户可以重复登陆，这就会造成重复，说的很对，那我们在细化一下，我们换个角度分析，一天内登录成功的不重复ip的数量。是不是更接近真实的结果呢，我感觉从量级和趋势上已经能说明问题了。
刷单用户这个没有标准的说法，我的理解是是同一个人为了某种目的大量注册了很多账号后，然后进行某种操作比如刷单等。这种行为很难100%杜绝，但从这条日志中可以得出一些有意思的发现。如果同一个ip一天登录成功次数过多，比如一天登录了一百次，每次间隔的时间都差不多，说明这个人有刷单嫌疑，可以先找出来然后再进一步的分析。
新增用户数的含义是一天内有多少注册成功的用户，这个时候可以类比登录日志，只要把登录日志的url换成注册日志的url就可以发现一天新增的用户数是多少。
同理恶意注册用户数也是类似的，一天同一个ip下注册成功的次数非常多。此ip恶意注册的可能性就很大。当然还需要进一步的分析，比如ip是否是一个大楼里面的出口ip，注册后此用户做了什么来判断。
从上面的分析可以看出举一反三，可从日志中可以看出运营中的很多内容，比如浏览商品的排行，用户访问时间，用户来源等等。
下面我们还从这条日志中分析一下安全的行为：
111.88.155.166 - - [17/Dec/2015:13:06:05 +0800] "POST /login HTTP/1.1" 200 0 "http://secilog.abc.com/login?langType=zh" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
这还是一条登录日志，唯一和上面登录日志不一样的地方是服务器返回值。一个是302，一个是200.有什么区别的，302的意思是服务器进行过页面跳转，200还是返回此页面，从中就可以理解，这是一条登录失败的记录。很好，有这条记录就可以发现很多的安全行为。
恶意密码猜测，可以理解同一段时间，用户大量的登录失败，返回了很多登录失败记录。从这条定义中就可以发现规律，我们把时间放大到5分钟，当5分钟内，同一个ip有超过20次以上的登录失败行为，基本上可以断定在进行密码猜测。当密码猜测有自动的也有手动的，如果区分呢。我们看一下这个内容"http://secilog.abc.com/login?langType=zh"，这个含义是post提交的来源是"http://secilog.abc.com/login?langType=zh"这个网页，也就是从这个网页发起的。如果这个地址不对，极有可能是用工具来进行暴力破解。
同理cc攻击就更容易理解了，同一个ip在很短的时间内访问了大量的请求，基本上可以认为是cc攻击。其他的webshell，sql注入等也可以从日志中分析出部分来，但不是太准确，因为日志中指记录get请求的参数，post参数正常是不记录的。
从上面的分析中可以得知，日志中还是有很多宝贵的东西在里面，只是我们没有发现。
;