python分析nignx访问日志脚本分享

Python分析Nginx访问日志脚本分享在现代互联网应用中，Nginx作为一个高性能的Web服务器和反向代理服务器而备受欢迎。Nginx的日志记录系统允许我们对访问行为进行跟踪和分析，以便更好地了解我们的用户和应用程序行为。在这篇文章中，我们将分享如何使用Python编写脚本来分析Nginx访问日志。

1. 解析Nginx访问日志文件

首先，我们需要解析Nginx访问日志文件。Nginx的日志格式通常为：

```

$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"

```

我们可以使用Python的正则表达式模块来解析日志文件。以下是一个示例脚本：

```python

import re

pattern = re.compile(

r'(?P\d+\.\d+\.\d+\.\d+) - (?P\S+) \[(?P.*?)\] "(?P.*?)" '

r'(?P\d+) (?P\d+) "(?P.*?)" "(?P.*?)"')

def parse_line(line):

match = pattern.match(line)

if not match:

return None

return match.groupdict()

with open('access.log') as fp:

for line in fp:

parsed = parse_line(line)

if parsed:

print(parsed)

```

此脚本将打开名为access.log的文件并逐行解析它。我们使用了Python的正则表达式模块来解析每一行，并将结果输出到控制台。

2. 分析访问次数

一旦我们解析了日志文件，我们就可以开始分析它了。我们可以使用Python的字典来记录每个IP地址的访问次数，并使用sorted()函数按访问次数排序。

```python

from collections import defaultdict

visits = defaultdict(int)

with open('access.log') as fp:

for line in fp:

parsed = parse_line(line)

if parsed:

visits[parsed['remote_addr']] += 1

for ip, count in sorted(visits.items(), key=lambda x: x[1], reverse=True):

print(ip, count)

```

这个脚本将输出每个IP地址的访问次数，并按访问次数从高到低排序。

3. 分析流量

我们还可以分析每个IP地址的流量。我们可以使用Python的字典来记录每个IP地址的流量总量，并使用sorted()函数按流量大小排序。

```python

traffic = defaultdict(int)

with open('access.log') as fp:

for line in fp:

parsed = parse_line(line)

if parsed:

traffic[parsed['remote_addr']] += int(parsed['body_bytes_sent'])

for ip, bytes in sorted(traffic.items(), key=lambda x: x[1], reverse=True):

print(ip, bytes)

```

这个脚本将输出每个IP地址的流量总量，并按流量大小从高到低排序。

4. 分析请求时间

我们还可以分析请求时间。我们可以使用Python的datetime模块来将请求时间转换为Python的datetime对象，并使用Python的time模块来计算请求时间间隔。

```python

import datetime

import time

requests = []

with open('access.log') as fp:

for line in fp:

parsed = parse_line(line)

if parsed:

requests.append({

'ip': parsed['remote_addr'],

'time': datetime.datetime.strptime(parsed['time_local'], '%d/%b/%Y:%H:%M:%S %z'),

'request': parsed['request'],

'status': parsed['status'],

'bytes': int(parsed['body_bytes_sent']),

'referer': parsed['http_referer'],

'user_agent': parsed['http_user_agent'],

})

requests.sort(key=lambda x: x['time'])

for i in range(len(requests) - 1):

delta = requests[i + 1]['time'] - requests[i]['time']

print(requests[i]['request'], delta.total_seconds())

```

这个脚本将输出每个请求的时间间隔。