检测攻击的基础日志服务器 Part2：日志聚合-安全客

一.写在前面的话

在我之前的文章中，我介绍了如何设置Graylog2日志记录服务器。在这篇文章中，我将介绍如何从我们安装的Graylog中获取一些日志。可是因为每个渗透测试人员使用的基础设施资产的数量和类型各不相同，所以无法在一篇文章中介绍所有的日志来源。但是，这些思想是差不多的，希望这篇文章将会帮助你理解。
我将介绍以下设置日志聚合的方法：

1.Apache有效负载/网上诱骗/ C2重定向器服务器。
2.Postfix / Sendmail邮件服务器。

二.Graylog消息输入和Rsyslog ：

在开始设置日志聚合之前，我应该了解一下关于Graylog的消息输入和Rsyslog的内容：

1.消息输入是Graylog用来提取传入日志消息的内容。
2.Rsyslog是用于日志处理的快速系统。它是一个基于*nix的实用工具(通常是预安装的)，用于通过网络转发日志消息(通过TCP或UDP)。这是我们用来将基础设施资产(即客户)的日志转发给Graylog的方法。

三.服务器 – 设置Graylog消息输入：

Graylog中的消息输入配置非常简单。你可以从System → Inputs菜单中的Web界面启动。

Graylog支持大量的输入类型。正如我前面提到的，我们使用Rsyslog，选择“Syslog TCP”，然后单击“启动新输入。

下图中的大多数设置都是可选的，你需要输入一个新名称并选择你将要使用的绑定端口（你的Graylog服务器将创建一个监听服务来提取该端口上的日志）。Rsyslog默认使用514端口，我推荐在下面的例子中使用一个独立的高端口（> 1024），如5140。

配置完成后，点击开始输入以启动它。

现在我们可以开始用客户端向Graylog发送一些日志。

四.客户端 – Apache webserver日志聚合：

登录到您的Apache Web服务器并创建文件/etc/rsyslog.d/apache.conf。将以下文本粘贴到其中：

$ ModLoad imfile

＃默认Apache错误日志
$ InputFileName /var/log/apache2/error.log
$ InputFileTag apache-error-default：
$ InputFileStateFile stat-apache -error $
InputFileSeverity info
$ InputFileFacility local3
$ InputRunFileMonitor

＃默认Apache访问日志
$ InputFileName /var/log/apache2/access.log
$ InputFileTag apache-access-default：
$ InputFileStateFile stat-apache-access
$ InputFileSeverity info
$ InputFileFacility local4
$ InputRunFileMonitor

$ InputFilePollInterval 1

接下来，打开/etc/rsyslog.conf并将以下文本粘贴到文件底部：

$ ActionDuectory / var / spool /
rsyslog $ ActionQueueFileName fwdRule1
$ ActionQueueMaxDiskSpace 1g
$ ActionQueueSaveOnShutdown on
$ ActionQueueType LinkedList
$ ActionResumeRetryCount -1
*。* @@ graylog.example.org：5140; RSYSLOG_SyslogProtocol23Format
local3。* @@ graylog.example.org：5140 ; RSYSLOG_SyslogProtocol23Format
local4。* @@ graylog.example.org：5140; RSYSLOG_SyslogProtocol23Format

将所有出现的“Graylog .example.org:5140” 替换为您的Graylog服务器的IP地址/域，以及消息输入的端口。

如果这些都完成了，现在只需启动Rsyslog服务，然后Apache Web服务器就可以将日志转发给Graylog。

sudo service syslog stop
sudo service rsyslog restart
sudo service rsyslog status

让我们来看看它是否正常工作; 返回到您的Graylog服务器Web管理并打开Sources菜单。您应该在源列表中看到您的Apache Web服务器的主机名/ IP地址。

要验证您的Apache日志是否在实时处理数据，请打开Graylog的搜索菜单并在您的Apache客户端上生成一些Apache日志，您可以看到您的日志出现在搜索菜单的Messages部分。

现在，您所要做的就是重复上面的步骤，以实现所有基于Apache的基础设施资产(有效负载服务器、网络服务器、redirectors等)的操作。

五.服务器 – Apache日志解析：

默认情况下，Graylog不会将Apache日志解析为某种信息格式，例如IP地址、用户代理、请求字符串、响应代码等等。所以，这些日志都是未经过滤的原始文本，分析起来有点困难。

我们将使用Grok模式解决这个问题。

I）选择一个Apache日志消息示例：

第一件事是从Graylog的搜索菜单中选择任何一个Apache日志消息作为示例。点击它并记下2个值; 该消息的ID字符串和存储在索引。

II）创建一个Apache日志提取器：

接下来，进入系统→输入菜单，然后单击正在运行的Rsyslog输入旁边的“ 管理提取器”按钮。

点击Add extractor菜单下的“ 开始 ”，然后点击Message ID选项卡。粘贴消息ID字符串和您之前从示例Apache日志中提取的索引。完成后点击“ 加载消息 ”。

完整的Apache示例日志会在下一个窗口中加载。滚动到“消息”字段，并从“选择提取器类型”下拉菜单中选择Grok模式。

如果一切顺利，您应该在示例消息窗口中看到示例Apache日志。您现在需要做的就是粘贴Grok模式，将其解析为Grok模式文本框。

将下面的整个字符串粘贴到文本框中，然后点击旁边的“ Try ” 按钮：
％{IPORHOST：clientip}％{HTTPDUSER：ident}％{USER：auth} [％{HTTPDATE：timestamp} ]“（？：％{WORD：verb}％{NOTSPACE：request}（?: HTTP / {NUMBER：httpversion}）？|％{DATA：rawrequest}）“％{NUMBER：response}（？：％{NUMBER：bytes} | - ）

您可以看见在“ Extractor Preview ”窗口中的日志被正确地解析为多个字段。