IIS日志-网站运维的好帮手

news/2024/5/13 6:15:55/文章来源:https://blog.csdn.net/diancuiji9577/article/details/101326845

对于一个需要长期维护的网站来说,如何让网站长久稳定运行是件很有意义的事情。 有些在开发阶段没有暴露的问题很有可能就在运维阶段出现了,这也是很正常的。 还有些时候,我们希望不断地优化网站,让网站更快速的响应用户请求, 这些事情都发生在开发之后的运维阶段。

与开发阶段不同的,运维阶段不可能让你去调试程序,发现各类问题, 我们只能通过各种系统日志来分析网站的运行状况, 对于部署在IIS上的网站来说,IIS日志提供了最有价值的信息,我们可以通过它来分析网站的响应情况,来判断网站是否有性能问题, 或者存在哪些需要改进的地方。

IIS日志包含了哪些信息

我前面说到【IIS日志提供了最有价值的信息】,这些信息有哪些呢?看看这个截图吧:

这里面记录了:
1. 请求发生在什么时刻,
2. 哪个客户端IP访问了服务端IP的哪个端口,
3. 客户端工具是什么类型,什么版本,
4. 请求的URL以及查询字符串参数是什么,
5. 请求的方式是GET还是POST,
6. 请求的处理结果是什么样的:HTTP状态码,以及操作系统底层的状态码,
7. 请求过程中,客户端上传了多少数据,服务端发送了多少数据,
8. 请求总共占用服务器多长时间、等等。

这些信息在分析时有什么用途,我后面再说。先对它有个印象就可以了。

IIS日志的配置

默认情况下,IIS会产生日志文件,不过,还是有些参数值得我们关注。 IIS的设置界面如下(本文以 IIS 8 的界面为例)。

在IIS管理器中,选择某个网站,双击【日志】图标,请参考下图:

此时(主要部分)界面如下:

在截图中,日志的创建方式是每天产生一个新文件,按日期来生成文件名(这是默认值)。
说明:IIS使用UTC时间,所以我勾选了最下面的复选框,告诉IIS用本地时间来生成文件名。

点击【选择字段】按钮,将出现以下对话框:

注意:【发送的字段数】和【接收的字节数】默认是没有选择的。建议勾选它们。
至于其它字段,你可以根据需要来决定是否要勾选它们。

如何分析IIS日志

如果你按照我前面介绍的方法设置了IIS日志参数,那么IIS在处理请求后(的一段时间之后),会生成IIS日志。
我们可以在【日志界面】的右边区域【操作】中点击【查看日志文件】快速定位到IIS日志的根目录, 然后到目录中寻找相应的日志文件(默认会根据应用程序池序号来区分目录)。

比如:我找到了我需要的日志:

这个文件一大堆密密麻麻的字符,现在我该如何分析它呢?

有个叫 Log Parser 的工具就可以专门解析IIS日志,我们可以用它来查看日志中的信息。
比如我可以运行下面的命令行(说明:为了不影响页面宽度我将命令文本换行了):

"C:\Program Files\Log Parser 2.2\LogParser.exe" -i:IISW3C -o:DATAGRID 
"SELECT c-ip,cs-method,s-port,cs-uri-stem,sc-status,sc-win32-status,
sc-bytes,cs-bytes,time-taken FROM u_ex130615.log"

现在就可以以表格形式来阅读IIS日志了:



说明:我不推荐用这种方法来分析IIS日志,原因有二点:
1. 慢:当日志文件稍大一点的时候,用它来分析就比较浪费时间了(尤其是需要多次统计时)。
2. 不方便:它支持的查询语法不够丰富,没有像SQL Server针对数据表查询那样全面。

推荐的IIS日志分析方法

虽然Log Parser支持将解析的IIS日志以表格形式供人阅读,但是有时候我们需要再做一些细致分析时,可能会按不同的方式进行【多次】查询, 对于这种需求,如果每次查询都直接运行Log Parser,你会浪费很多时间。 幸运的是,Log Parser支持将解析结果以多种格式导出(以下为帮助文档截图):

在此,我建议选择输出格式为 SQL 。
注意:这里的SQL并不是指SQLSERVER,而是指所有提供ODBC访问接口的数据库。
我可以使用下面的命令将IIS日志导入到SQLSERVER中(说明:为了不影响页面宽度我将命令文本换行了):

"C:\Program Files\Log Parser 2.2\logparser.exe"  
"SELECT  *  FROM  'D:\Temp\u_ex130615.log'  to MyMVC_WebLog" -i:IISW3C -o:SQL 
-oConnString:"Driver={SQL Server};server=localhost\sqlexpress;database=MyTestDb;Integrated Security=SSPI" 
-createtable:ON

导入完成后,我们就可以用熟悉的SQLSERVER来做各种查询和统计分析了,例如下面的查询:

SELECT cip,csmethod,sport,csuristem,scstatus,scwin32status,scbytes,csbytes,timetaken 
FROM dbo.MyMVC_WebLog

如果如下:

注意:
1. IIS日志在将结果导出到SQLSERVER时,字段名中不符合标识符规范的字符将会删除。
   例如:c-ip 会变成 cip, s-port 会变成 sport 。
2. IIS日志中记录的时间是UTC时间,而且把日期和时间分开了,导出到SQLSERVER时,会生成二个字段:
   

date, time这二个字段看起来很不舒服,对吧?
我也很反感这个结果,下面来说说的二种解决方法:

1. 在SQLSERVER中增加一列,然后把UTC时间换成本地时区的时间,T-SQL脚本如下:

alter table MyMVC_WebLog add RequestTime datetime
go
update MyMVC_WebLog set RequestTime=dateadd(hh,8,convert(varchar(10),date,120) + ' ' + convert(varchar(13),time,114))

2. 直接在导出IIS日志时,把时间转换过来,此时要修改命令:

"C:\Program Files\Log Parser 2.2\logparser.exe"  
"SELECT TO_LOCALTIME(TO_TIMESTAMP(ADD(TO_STRING(date, 'yyyy-MM-dd '), TO_STRING(time, 'hh:mm:ss')), 
'yyyy-MM-dd hh:mm:ss')) AS RequestTime, *  FROM  'D:\Temp\u_ex130615.log'  to  MyMVC_WebLog2" 
-i:IISW3C -o:SQL 
-oConnString:"Driver={SQL Server};server=localhost\sqlexpress;database=MyTestDb;Integrated Security=SSPI"
-createtable:ON

再看这三列:

select RequestTime, date, time from MyMVC_WebLog2

这样处理后,你就可以直接把date, time这二列删除了(你也可以在导出IIS日志时忽略它们,但要明确指出每个字段名)。

IIS日志中的UTC时间问题就说到这里,但愿每个人都懂了~~~~~~~~~~~

IIS日志中的异常记录

IIS日志中记录了每个请求的信息,包括正常的响应请求和有异常的请求。

这里所说的【异常】与 .net framework 中的异常没有关系。
对于一个ASP.NET程序来说,如果抛出一个未捕获异常,会记录到IIS日志中(500),但我所说的异常不仅限于此。

本文所说的异常可分为四个部分:
1. (ASP.NET)程序抛出的未捕获异常,导致服务器产生500的响应输出。
2. 404之类的请求资源不存在错误。
3. 大于500的服务器错误,例如:502,503
4. 系统错误或网络传输错误。

前三类异常可以用下面的查询获得:

select scStatus, count(*) AS count, sum(timetaken * 1.0) /1000.0 AS sum_timetaken_second
from MyMVC_WebLog with(nolock)
group by scStatus
order by 3 desc


IIS日志中有一列:sc-win32-status ,它记录了在处理请求过程中,发生的系统级别错误,例如网络传输错误。
正常情况下,0 表示正常,出现非零值意味着出现了错误。我们可以这样统计这类错误:

declare @recCount bigint;
select @recCount = count(*) from MyMVC_WebLog with(nolock)
select scWin32Status, count(*) AS count, (count(*) * 100.0 / @recCount) AS [percent] 
from MyMVC_WebLog with(nolock)
where scWin32Status > 0
group by scWin32Status
order by 2 desc


下表列出了比较常见的与网络相关的错误及解释:

scWin32Status 含义
64 客户端连接已关闭(或者断开)
121 传输超时
1236 本地网络中断


所有状态码都可以通过下面的命令来获取对应的解释:

D:\Temp>net helpmsg 64指定的网络名不再可用。


关于scwin32status与scStatus,我还想补充说明一下:它们没有关联。
比如请求这个地址:http://www.abc.com/test.aspx
有可能scStatus=200,但scwin32status=64,此时表示ASP.NET已成功处理请求,但是IIS在发送响应结果时,客户端的连接断开了。
另一种情况是:scStatus=500,但scwin32status=0,此时表示,在处理请求过程中发生了未捕获异常,但异常结果成功发送给客户端。

再谈 scwin32status=64

记得以前看到 scStatus=200,scwin32status=64 这种情况时很不理解,于是搜索了互联网,各种答案都有,有的甚至说与网络爬虫有关。 为了验证各种答案,我做了一个试验。我写一个ashx文件,用它来模拟长时间的网络传输,代码如下:

public class Test_IIS_time_taken : IHttpHandler {public void ProcessRequest (HttpContext context) {context.Response.ContentType = "text/plain";System.Threading.Thread.Sleep(1000 * 2);context.Response.Write(string.Format("{0}, {1}\r\n", "Start", DateTime.Now));context.Response.Flush();System.Threading.Thread.Sleep(1000 * 2);for( int i = 0; i < 20; i++ ) {context.Response.Write(string.Format("{0}, {1}\r\n", i, DateTime.Now));context.Response.Flush();System.Threading.Thread.Sleep(1000 * 1);}context.Response.Write("End");}

这段代码很简单,我不想做过多的解释,只想说一句:我用Thread.Sleep与Response.Flush这二个方法来模拟一个长时间的持续发送过程。

我们可以在浏览器中看到这样的输出(显示还没有完全结束时我截图了)

我把这个测试做了8次,只有2次是全部显示完成了,其余6次我提前关闭了浏览器窗口。
然后,我们再来看IIS日志的内容:

根据IIS日志并结合我自己的操作可以发现:
1. 当我提前关闭浏览器窗口时,就会看到scStatus=200,scwin32status=64
2. 如果请求内容全部显示完成,我就会看到scStatus=200,scwin32status=0
从这个试验我们还可以发现:timeTaken 包含了网络传输时间。


根据这个试验的结果,你是否想过一个问题:
如果你的网站的IIS日志中出现了大量的scStatus=200,scwin32status=64, 而且请求是由用户的浏览器发起的。
这是什么原因造成的呢?
我的【猜想】是:用户在访问这个网站时已经不愿意再等待了,他们把浏览器窗口关掉了。
换句话说:可以从scwin32status=64的统计结果看出网站的响应速度是否能让用户满意。

寻找性能问题

IIS日志中有一列叫:timeTaken,在IIS的界面中显示了它的含义:所有时间。
这个所用时间的定义是:从服务端收到请求的第一个字节开始起,直到把所有响应内容发送出去为止的时间。
微软的网站有对这个字段做过说明:http://support.microsoft.com/kb/944884

知道了timeTaken的定义后,我们就可以利用它来分析一些请求的处理时间,即性能分析。

例如,我想查看最慢的20个页面的加载情况,可以这样查询:

select top 20 csuristem,scstatus,scwin32status,scbytes,csbytes,timetaken
from dbo.MyMVC_WebLog with(nolock)
where csUriStem like '/Pages/%'
order by timeTaken desc

再或者我想再看看最慢的20个AJAX情况的响应情况,可以这样查询:

select top 20 csuristem,scstatus,scwin32status,scbytes,csbytes,timetaken
from dbo.MyMVC_WebLog with(nolock)
where csUriStem like '/ajax/%'
order by timeTaken desc

总之,寻找性能问题的方法就是:在查询选择timeTaken字段,并且用它做降序排序。

注意:scbytes,csbytes 这二个字段也是值得我们关注的:
1. csbytes如果过大,我们就要分析一下到底是不是因为表单包含了过多的无用数据,可否将表单拆分。
   csbytes变大还有一种可能:Cookie太大,但它会表现为很多请求的csbytes都偏大,因此容易区分。
2. scbytes如果过大,我们就要检查页面是否没有分页,或者可以考虑用按需加载的方式来实现。
典型的情况是:当大量使用ViewState时,这二个值都会变大。因此我们能通过IIS日志发现ViewState的滥用问题。
还有一种特殊情况是:上传下载文件也会导致这二个数值变大,原因我就不解释了。

scbytes,csbytes,不管是哪个数值很大,都会占用网络传输时间,对于用户来说,就需要更长的等待时间。

一下子说了三个字段,在寻找性能问题时,到底该参考哪个呢?
我认为:应该优先关注timeTaken,因为它的数值直接反映了用户的等待时间(不包括前端渲染时间)。
如果timeTaken过大时,有必要检查scbytes,csbytes是否也过大,
如果后二者也过大,那么优化的方向就是减少数据传输量,否则表示是程序处理占用了大量的时间,应该考虑优化程序代码。

寻找可改进的目标

除了可以从IIS日志中发现性能问题,还可以用它来寻找可改进的目标。
例如:
1. 有没有404错误?
2. 是否存在大量的304请求?
3. 是否存在大量重复请求?


当发现有404响应时,我们应该分析产生404的原因:
1. 是用户输入错误的URL地址吗?
2. 还是开发人员引用不存在的资源文件?
如果是后者,就应该尽快移除无效的引用,因为404响应也是一个页面响应,而且它们也会占用网络传输时间, 尤其是这类请求不能缓存,它会一直出现,浪费网络资源。

如果你希望在开发阶段就能轻易的发现404错误,可以参考我的博客:程序在发布前就应该发现的一些错误


如果发现有大量的304请求也应该仔细分析:
1. 是由于ASP.NET缓存响应而产生的304请求吗?
2. 还是请求静态资源文件时产生的304请求?
如果是后者,则有可能与浏览器的设置有关,也有可能与IIS设置有关。

IIS有个【启用内容过期】功能,可用来在输出响应时设置缓存头,减少请求数量。
此功能对静态文件有用,ASP.NET处理的结果则不受影响。
具体设置方法可参考:不修改代码就能优化ASP.NET网站性能的一些方法


我们可以用这样的查询来分析页面的加载频率:

select top 20 csUriStem, count(*) AS [count],avg(timeTaken) AS avg_timeTaken, max(timeTaken) AS max_timeTaken
from MyMVC_WebLog with(nolock)
where csUriStem like '/Pages/%'
group by csUriStem
order by 2 desc

如果发现有大量的重复请求,也需要再仔细分析:
1. 请求的响应内容是否随着不同的参数而各不相同?
2. 请求的URL是固定的,响应内容也是极少变化的。
如果是后者,则可以考虑使用页面缓存功能。例如:ASP.NET的OutputCache

我的博客不修改代码就能优化ASP.NET网站性能的一些方法 介绍了一种不用修改代码就能缓存请求的功能,如果需要,可以试试。

程序架构对IIS日志分析过程的影响

前面我介绍了一些分析IIS日志的方法,这些方法的使用都离不开查询。 绝大多数时候,我们需要在查询中输出URL信息(cs-uri-stem)并依据它们分组来统计, 因此,合理的设计URL会给后期的统计带来方便, 也能得到更准确的统计结果。 一个极端的反例是:采用WebForms默认的开发方式,页面加载以及每个按钮的提交都是同一个URL,你会发现很难统计用户的每个操作花了多少时间。

怎样的URL设计才能满足统计需要呢?
我认为:每个用户操作(页面显示或者提交)都应该有一个URL与之对应,且不同的URL能反映不同的操作。
另外还建议:不同的用户操作能在URL中清楚的区分开,这样能方便做更多的统计(例如:页面加载,AJAX请求,报表显示)。


虽然我们可以用timeTaken来做性能统计,然而,当你在程序中大量使用frameset或者iframe时, 你将难以统计某个页面(包含iframe的页面)加载到底花了多长时间。 因为整个页面被分成了多个请求,它们在IIS日志中并不是连续的,你无法准确地按用户请求来统计。 例如:a1.aspx用iframe的方式嵌入了b1.aspx, b2.aspx, b3.aspx,当你统计a1.aspx的加载时间时, 你得到的结果永远和用户感受的情况不一样,因为a1.aspx的timeTaken并不包含b1.aspx, b2.aspx, b3.aspx这三个请求的timeTaken!

因此,如果你希望利用IIS日志来分析程序性能,那么iframe就不要再使用了。

感谢原博主!原博客地址:http://www.cnblogs.com/fish-li/p/3139366.html



转载于:https://www.cnblogs.com/yanergui/p/5014299.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_906774.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

从零开始搭建个人静态简历网站

只做一个个人简历的静态网页实质只需要两个步骤&#xff0c;第一步选择一个服务器&#xff0c;可能根据你建立的投放对象不同需要购买不同地区的服务器。选择好服务器后&#xff0c;我用的宝塔面板来配置服务器省去了输入各种命令行的麻烦。第二部制作个人简历的html文件&#…

【SEO】搜索引擎优化的陷阱和作弊

一.认识SEO 【理解】 站内优化是指更改网站内部结构&#xff0c;让网站利于蜘蛛爬取&#xff0c;比如网站内容&#xff1b; 站外优化是指发反向链接&#xff0c;给蜘蛛一个爬取你网站的通道。 其中&#xff0c;反向链接是指网页A 上有一个链接指向网页B&#xff0c;则网页A 上的…

痛失阵地,又一家热门BT种子观影网站关停

对于全球大部分观众来说&#xff0c;盗版影视剧一直都是生活中不可或缺的刚需。 受限于发行渠道、版权限制等种种原因&#xff0c;许多影视剧我们无法从当地的正规渠道——电影院或各大视频平台上观看。 所以&#xff0c;无论在国内还是国外&#xff0c;盗版都是群众们喜闻乐…

多线程爬取小说网站——全站架构完全爬取

多线程爬取小说网站“全书网” 1、可爬取所有分类的文章 2、包括小说的封面、作者、介绍以及每章的内容&#xff0c;就是说这个小说网站架构都爬下来了。 3、本来是打算都爬下来的&#xff0c;后来发现我还是太年轻&#xff0c;一本书的内容就占了3到4M的数据库空间&#xff0c…

每个 iOS 开发者都应该关注的 5 个网站

作为一名 iOS 开发者&#xff0c;我们总是想着跟上 Swift 的新特性。我们每天都会查看各种在线资源。以下是我个人关注的 5 个非常重要的网站&#xff0c;以使自己了解最新的 iOS 变化。 iOS 开发目录 无论是官方的 Apple 博客&#xff0c;还是让我们了解最新动态的社区博客………

云服务器 Ubuntu 16.04 搭建 WordPress 网站流程(三)

内容 受篇幅限制&#xff0c;本篇文章拆分为三个部分&#xff0c;及一篇快速上手指南&#xff1a; 云服务器 Ubuntu 16.04 搭建 WordPress 网站流程&#xff08;一&#xff09;云服务器 Ubuntu 16.04 搭建 WordPress 网站流程&#xff08;二&#xff09;云服务器 Ubuntu 16.0…

查看github网站所提供的api

访问如下网址&#xff1a;https://api.github.com 如图&#xff1a;

windows Server 2008 R2 搭建ASP网站疑难杂症

## 标题windows Server 2008 R2 搭建ASP网站** 首先准备环境windows Server 2008 R2 纯净镜像包 &#xff0c;为什么要用纯净镜像包&#xff0c;一为了防止后门 &#xff0c;二是为了安装配置网站方便 这里给大家准备了windows Server 2008 R2 搭建ASP网站的迅雷下载地址 ed2k:…

保姆级静态网站搭建-阿里云实践

1首先在阿里云登录或者注册账号&#xff0c;学生可以认证有优惠 2选择自己需求去选云服务器 3更换操作系统为LINUX 在控制台里打开云ecs服务器的实例&#xff0c;点击操作中的更多的实例状态的停止 然后在更多中选择云盘和镜像中的更换操作系统&#xff0c;确认更换操作系统&a…

英文书籍下载常用网站

经常需要找一些科技文献&#xff0c;以及最新的科技书籍&#xff0c;所以收集了一些无需注册并且免费下载无需积分的网站。 libgen.io 这个网站上面的书籍比较多&#xff0c;可以下到很多最新的书籍&#xff0c;还可以下到一些研究领域里面的顶级的会议的论文集&#xff0c;比…

web-前端之事件冒泡,其中包括(onmousemove,onmouseover,onmouseout,onmouseleave,onmouseup,onmouseentter)可用于一些计数小游戏

这个是专门写了几个鼠标事件&#xff0c;其中很清晰的描述了每一个鼠标事件的发生和结束&#xff0c;可以很清楚的看见每一种事件的变化 <!DOCTYPE html> <html><head><meta charset"UTF-8"><title></title><style>div{…

web-滚动条事件,明确来说就是一些网站上的滚动条滚动到某一个位置才会出现你想看到的东西

这个滚动事件&#xff0c;就好像是淘宝&#xff0c;京东上的一样&#xff0c;它们左边的区块会有某些产品的介绍&#xff0c;所以这时就需要滚动条事件&#xff0c;就是为了用户的便利而设置的该在这个界面的那个地方显示对产品的介绍&#xff0c;不懂的可以看下图 <!DOCT…

计算机学习常用网站总结

视频类网站 1.慕课网 慕课网上有很多免费的视频课程&#xff0c;在里面可以学到很多跟开发、游戏制作、计算机基础等课程。资源非常丰富&#xff0c;涵盖的课程非常广&#xff0c;是学习的极佳的课程&#xff0c;并且里面的课程经常更新&#xff0c;强力推荐。 在考研前&…

130 个相见恨晚的超实用网站,一次性分享出来

转载至&#xff1a;CSDN博主「爪白白」 原文链接&#xff1a;https://blog.csdn.net/qq_43901693/article/details/100606828 文章目录 搞学习找书籍冷知识 / 黑科技写代码资源搜索小工具导航页&#xff08;工具集&#xff09;看视频学设计搞文档找图片 搞学习 CSDN&#xff1…

阿里云Linux(Debian) + Tomcat搭建网站

工具&#xff1a; Linux(我买的是阿里云的主机Linux(Debian64位的)) Tomcat(Java Web服务器) putty(连接远程主机的客户端) WinSCP(远程主机的可视化界面&#xff0c;方便操作文件) jdk1.8(需要配置环境变量) (注意&#xff01;&#xff01;&#xff01;我的主机是Linux64位的…

国人当自强:两岸三地在线编程学习网站大搜罗

说到国内的在线编程学习网站&#xff0c;很多人都是一脸茫然&#xff0c;即使是资深开发者也是如此。在许多人眼中&#xff0c;尽管国内App开发景象一派繁荣&#xff0c;但教育疲软却是不争的事实。在《移动开发者的自学宝典&#xff1a;十大在线编程学习网站》之后&#xff0c…

数据分析学习网站

数据分析学习网站 在线分析工具 神策 https://www.sensorsdata.cn/易分析 <http://www.yeefx.com/index.html>易观方舟 https://ark.analysys.cn/portal/ 学习网站&#xff1a; 数据分析网 https://www.afenxi.com/ 如何通过数据进行网站分析 网站的监测指标有很多&a…

炒股经常用到的几个工具网站

俗话说&#xff0c;工欲善其事&#xff0c;必先利其器。想在这个坑爹的金融市场寻找致富的圣杯&#xff0c;除了掌握基础的金融知识外&#xff0c;你还需要一些掘金取宝的武器装备---金融资讯网站或者软件。我在每天的夜报里都会列举一些数据&#xff0c;很多朋友都问我数据来源…

052CSS-网站图标favicon.ico

favicon.ico一般勇于作为缩略的网站图标&#xff0c;他先是在浏览器的地址栏或者标签上【制作png、转化ico、放在根目录、引入】 通过比特虫网站转换http://www.bitbug.net/引入规范、放在head里<link rel"shortcut icon" href"favicon.ico" type"…

108Express-创建网站服务器、send()、中间件next()use()、错误处理中间键、路由

创建网站服务器 const express require(express); const app express();send&#xff08;&#xff09;替代res.end&#xff08;&#xff09; // 1send会检测内部响应内容的类型 自动设置到响应头中 // 2会自动设置http状态码 // 3会自动设置响应的内容类型及编码app.get(/,…