第五章 入侵检测技术

一、本章复习建议

在历年考题中，本章主要出现在单项选择、填空、简答题中，其考察知识点平均分布在各节，学习层次包含识记、领会层面，建议学员在本章的学习过程中根据考核要求，全面掌握教材中各个考核知识点，在学习和复习阶段结合教材和相关例题、历年真题透彻理解本章节的相关内容。
 

二、本章重要知识点讲解

入侵检测的原理和结构组成；入侵检测的分类方法；CIDF的体系结构。
 
第一节  5.1 入侵检测概述
假如说防火墙是一幢大楼的门锁，那入侵检测系统就是这幢大楼里的监视系统。门锁可以防止小偷进入大楼，但不能保证小偷100％地被拒之门外，更不能防止大楼内部个别人员的不良企图。而一旦小偷爬窗进入大楼，或内部人员有越界行为，门锁就没有任何作用了，这时，只有实时监视系统才能发现情况并发出警告。入侵检测系统不仅仅针对外来的入侵者，同时也针对内部的入侵行为。
入侵检测是从计算机网络或计算机系统中的若干关键点搜集信息并对其进行分析，从中发现网络或系统中是否有违反安全策略的行为和遭到袭击的迹象的一种机制。入侵检测系统的英文缩写是IDS（Intrusion Detection System），它使用入侵检测技术对网络与其上的系统进行监视，并根据监视结果进行不同的安全动作，最大限度地降低可能的入侵危害。
 
（一）5.1.1 入侵检测原理 ★
IDS通过监视受保护系统的状态和活动，采用误用检测或异常检测的方式，发现非授权或恶意的系统及网络行为，为防范入侵行为提供有效的手段。
入侵检测提供了用于发现入侵攻击与合法用户滥用特权的一种方法，其应用前提是：入侵行为和合法行为是可区分的，也既可以通过提取行为的模式特征来判断该行为的性质。
一般地，入侵检测系统需要解决两个问题，一是如何充分并可靠地提取描述行为特征的数据，二是如何根据特征数据，高效并准确地判定行为的性质。
目前，大部分网络攻击在攻击前有资料搜集的过程，例如，基于特定系统的漏洞攻击，在攻击之前需要进行端口扫描，以确认系统的类型以及漏洞相关的端口是否开启。某些攻击在初期就可以表现出较为明显的特征，例如，假冒有效用户登录，在攻击初期的登录尝试具有明显的特征。对于这两类攻击，入侵检测系统可以在攻击的前期准备时期或是在攻击刚刚开始的时候进行确认并发出警报。同时入侵检测系统可以对报警的信息进行记录，为以后的一系列实际行动提供证据支持。这就是入侵检测系统的预警功能。
 
（二）5.1.2 入侵检测系统结构
从系统构成上看，入侵检测系统应包括数据提取、入侵分析、响应处理和远程管理四大部分。
l 数据提取：提取的信息包括系统、网络、数据及用户活动的状态和行为；
数据提取通过事件产生器来完成，事件产生器采集和监视被保护系统的数据，这些数据可以是网络的数据包，也可以是从系统日志等其他途径搜集到的信息。并且将这个数据进行保存，一般是保存到数据库中。
l 三种入侵分析方法：模式识别、统计分析和完整性分析；
入侵分析由事件分析器完成，事件分析器的功能主要分为两个方面：一是用于分析事件产生器搜集到的数据，区分数据的正确性，发现非法的或者具有潜在危险的、异常的数据现象，通知响应单元做出入侵防范；一是对数据库保存的数据做定期的统计分析，发现某段时期内的异常表现，进而对该时期内的异常数据进行详细分析。
l 响应处理：发出警报、终止连接、断开链路、引入陷阱；
响应处理由响应单元完成，响应单元是协同事件分析器工作的重要组成部分，一旦事件分析器发现具有入侵企图的异常数据，响应单元就要发挥作用，对具有入侵企图的攻击施以拦截、阻断、反追踪等手段，保护被保护系统免受攻击和破坏。
l 远程管理：一台管理站点上实现统一的管理和监控。
入侵检测系统一般采用分布监视、集中管理的结构，多个检测单元运行于不同的网络或系统中，通过远程原理功能在一台管理站点上实现统一的管理和监控。
 
另外，IDS系统还可能结合安全知识库、数据存储等功能模块，提供更为完善的安全检测及数据分析功能，主要由事件数据库完成。事件数据库记录事件分析单元提供的分析结果，形成知识库，同时记录下所有来自于事件产生器的事件，用来进行以后的分析与检查。
 
（三）5.1.3 入侵检测系统分类
①基于数据源的分类：按数据源所处的位置，把入侵检测系统分为五类：即基于主机、基于网络、混合入侵检测、基于网关的入侵检测系统及文件完整性检查系统；
基于主机的入侵检测系统用于保护单台主机不受网络攻击行为的侵害，需要安装在被保护的主机上。通过监视与分析主机的审计记录，如果发现主体的活动可疑（如违反统计规律），入侵检测系统就会采取相应的措施。通常入侵行为会在主机的各种相关文件中留下痕迹，主机文件检测能够帮助系统管理员发现入侵行为或入侵企图，及时采取补救措施。
检测对象主要包括以下几种：
（1） 系统日志
系统日志文件中记录了各种类型的信息，包括各用户的行为记录。如果日志文件中存在着异常的记录，就可以认为已经或正在发生网络入侵行为。这些异常包括不正常的反复登录失败记录、未授权用户越权访问重要文件、非正常登录行为等。
（2） 文件系统
恶意的网络攻击者会修改网络主机上包含重要信息的各种数据文件，他们可能会删除或者替换某些文件，或者尽量修改各种日志记录来销毁他们的攻击行为可能留下的痕迹。如果入侵检测系统发现文件系统发生了异常的改变，例如一些受限访问的目录或文件被非正常地创建、修改或删除，就可以怀疑发生了网络入侵行为。
（3） 进程记录
主机系统中运行着各种不同的应用程序，包括各种服务程序。每个执行中的程序都包含了一个或多个进程。每个进程都存在于特定的系统环境中，能够访问有限的系统资源、数据文件等，或者与特定的进程进行通信。黑客可能将程序的进程分解，致使程序中止，或者令程序执行违背系统用户意图的操作。如果入侵检测系统发现某个进程存在着异常的行为，就可以怀疑有网络入侵。
基于主机的入侵检测系统具有以下优点：
l 检测准确度较高；
l 可以检测到没有明显行为特征的入侵；
l 能够对不同的操作系统进行有针对性的检测；
l 成本较低；
l 不会因网络流量影响性能；
l 适于加密和交换环境。
基于主机的入侵检测系统具有以下不足：
l 实时性较差；
l 无法检测数据包的全部；
l 检测效果取决于日志系统；
l 占用主机资源；
l 隐蔽性较差。
基于网络的入侵检测系统通常是作为一个独立的个体放置于被保护的网络上，它使用原始的网络分组数据包作为进行攻击分析的数据源，一般利用一个网络适配器来实时监视和分析所有通过网络进行传输的通信。一旦检测到攻击，入侵检测系统应答模块通过通知、报警以及中断连接等方式来对攻击做出反应。
基于网络的入侵检测系统有以下优点：
l 可以提供实时的网络行为检测；
l 可以同时保护多台网络主机；
l 具有良好的隐蔽性；
l 有效保护入侵证据；
l 不影响被保护主机的性能。
基于网络的入侵检测系统有以下不足：
l 防入侵欺骗的能力通常较差；
l 在交换式网络环境中难以配置；
l 检测性能受硬件条件限制；
l 不能处理加密后的数据。
混合入侵检测系统是综合基于网络和基于主机两种结构优势的入侵检测系统。基于网络的入侵检测系统和基于主机的入侵检测系统都有各自的优势和不足，这两种方式各自都能发现对方无法检测到的一些网络入侵行为，如果同时使用互相弥补不足，会起到良好的检测效果。
基于网关的入侵检测系统是由新一代的高速网络结合路由与高速交换技术构成的，它从网关中提取信息来提供整个信息基础设施的保护措施。
文件完整性检查系统检查计算机中自上次检查后文件系统的变化情况。它为主机系统的一些关键文件建立一个高效的校验和，并且根据文件的正常变化进行维护。通过将这些校验和与实际文件进行比较，来检测是否存在对文件及其属性的异常修改，从而发现网络入侵行为，并且能够在一定程度上恢复修改前的系统文件。但如果入侵者能够修改校验和，这种入侵检测系统将无法起到预期的作用。
 
②基于检测理论分类，可分为异常检测和误用检测；
异常检测技术（Anomaly Detection）也称为基于行为的检测技术，是指根据用户的行为和系统资源的使用状况判断是否存在网络入侵。
异常检测技术首先假设网络攻击行为是不常见的或是异常的，区别于所有的正常行为。如果能够为用户和系统的所有正常行为总结活动规律并建立行为模型，那么入侵检测系统可以将当前捕获到的网络行为与行为模型相对比，若入侵行为偏离了正常的行为轨迹，就可以被检测出来。
异常检测技术先定义一组系统正常活动的阈值，如CPU利用率、内存利用率、文件校验和等，这类数据可以人为定义，也可以通过观察系统，用统计的办法得出，然后将系统运行时的数值与所定义的“正常”情况比较，得出是否有被攻击的迹象。这种检测方式的核心在于如何分析系统运行情况。
异常检测技术给系统对象（如用户、文件、目录和设备等）创建一个统计描述，统计正常使用时的一些测量属性（如访问次数、操作失败次数和延时等）。测量属性的平均值将用来与网络、系统的行为进行比较，任何观察值在正常值范围之外时，就认为有入侵发生。例如，统计分析可能标识一个不正常行为，因为它发现一个在晚八点至次日早六点不登录的账户却在凌晨两点试图登录。
异常检测技术有以下优点：
l 能够检测出新的网络入侵方法的攻击；
l 较少依赖于特定的主机操作系统；
l 对于内部合法用户的越权违法行为的检测能力较强。
异常检测技术有以下不足：
l 误报率高；
l 行为模型建立困难；
l 难以对入侵行为进行分类和命名。
 
误用检测技术（Misuse Detection）也称为基于知识的检测技术或者模式匹配检测技术。它的前提是假设所有的网络攻击行为和方法都具有一定的模式或特征，如果把以往发现的所有网络攻击的特征总结出来并建立一个入侵信息库，那么入侵检测系统可以将当前捕获到的网络行为特征与入侵信息库中的特征信息相比较，如果匹配，则当前行为就被认定为入侵行为。
误用检测技术首先要定义违背安全策略事件的特征，检测主要判别所搜集到的数据特征是否在所搜集到的入侵模式库中出现。这种方法与大部分杀毒软件采用的特征码匹配原理类似。
误用检测就是将搜集到的信息与已知的网络入侵和系统误用模式数据库进行比较，从而发现违背安全策略的行为。该过程可以很简单（如通过字符串匹配以寻找一个简单的条目或指令），也可以很复杂（如利用正规的数学表达式来表示安全状态的变化）。一般来讲，一种进攻模式可以用一个过程（如执行一条指令）或一个输出（如获得权限）来表示。
误用检测技术有以下优点：
l 检测准确度高；
l 技术相对成熟；
l 便于进行系统防护。
误用检测技术有以下缺点：
l 不能检测出新的入侵行为；
l 完全依赖于入侵特征的有效性；
l 维护特征库的工作量巨大；
l 难以检测来自内部用户的攻击。
 
③基于检测时效的分类，可分为离线检测方式（采取批处理方式）和在线检测方式（实时检测）。
 
第二节  5.2 入侵检测实现技术
 
（一）5.2.1入侵检测分析模型★
分析是入侵检测的核心功能，一般的，入侵检测分析处理过程可分为三个阶段：构建分析器，对实际现场数据进行分析，反馈和提炼过程。其中，前两个阶段都包含三个功能，即数据处理、数据分类（数据可分为入侵指示、非入侵指示或不确定）和后处理。
 
（二）5.2.2 误用检测
误用检测是按照预定模式搜寻事件数据的，最适用于对已知模式的可靠检测。执行误用检测，主要依赖于可靠的用户活动记录和分析事件的方法。分为①条件概率预测法②产生式/专家系统③状态转换方法④用于批模式分析的信息检索技术⑤Keystroke Monitor和基于模型的方法。
1.条件概率预测法将网络入侵方式看作一个事件序列，根据所观测到的各种网络事件的发生情况来推测入侵行为的发生。条件概率误用检测方法应用贝叶斯定理对入侵进行推理检测，原理如下：
事件序列表示为ES，先验概率为P(Intrusion)，后验概率为P(ES｜Intrusion)，事件出现的概率为P(ES)，则
P(Intrusion|ES)＝P(ES|Intrusion)P(Intrusion)/P(ES)
其中，先验概率P（Intrusion）由网络安全专家给出，对以往网络入侵数据进行统计处理可以得出后验概论P（ES|Intrusion）和P(ES|Intrusion)，于是可以计算出
P(ES)＝(P(ES|Intrusion)-P(ES|    Intrusion))P（Intrusion）＋P(ES|    Intrusion)
因此可以通过对事件序列的观测推算出P（ES｜Intrusion|ES）。条件概率误用检测的缺点是难以给出先验概率，而且难以确定事件的独立性。
2. 产生式/专家系统首先将安全专家的关于网络入侵行为的知识表示成一些类似If-Then的规则，并以这些规则为基础建立专家知识库。规则中的If部分说明形成网络入侵的必需条件，Then部分说明发现入侵后要实施的操作。入侵检测系统将网络行为的审计数据事件进行转换，成为包含入侵警告程度的判断事实，然后通过推理引擎进行入侵检测，当If中的条件全部满足或者在一定程度上满足时，Then中的动作就会被执行。
专家系统误用检测需要处理大量的审计数据并且依赖于审计追踪的次序，在目前的条件下处理速度难以保证。同时，对于各种网络攻击行为知识进行规则化描述的精度有待提高，审计数据有时不能提供足够的检测所需的信息。专家系统只能检测出以往发现过的入侵行为，要检测出新的入侵，必须及时添加新的规则，维护知识库的工作量很大。
3. 状态转换方法是使用系统状态和状态转换表达式来描述和检测入侵，采用最优模式匹配技术来结构化误用检测，增强了检测的速度和灵活性。目前，主要有三种实现方法：状态转换分析、有色Petri-Net和语言/应用编程接口（API）。
4. 用于批模式分析的信息检索技术。当前大多数入侵检测都是通过对事件数据的实时收集和分析来发现入侵的，然而在攻击被证实后，要从大量的审计数据中寻找证据信息，就必须借助于信息检索技术（Information Retrieval，IR）技术。
5．Keystroke Monitor和基于模型的方法。键盘监控误用检测方法假设每种网络入侵行为都具有特定的击键序列模式，入侵检测系统监视各个用户的击键模式，并将该模式与已有的入侵击键模式相匹配，如果匹配成功就认为是网络入侵行为。这种方法的不足之处是如果操作系统没有提供相应的支持，则缺少可靠的方法来捕获用户的击键行为，可能存在多种击键方式表示同一种攻击的情况，而且不能对击键进行语义分析，攻击者使用命令的各种别名就很容易欺骗这种技术。此外，因为这种技术仅分析击键行为，所以对于那些利用程序进行自动攻击的行为无法检测。
模型误用检测方法根据网络入侵行为的特征建立起误用证据模型，入侵检测系统根据模型中的入侵行为特征进行推理，判断当前的用户行为是否是误用行为。模型误用检测方法需要建立攻击剧本数据库、预警器和规划者。每个攻击剧本是一个攻击行为序列，入侵检测系统根据攻击剧本的子集来推断系统当前是否受到入侵。根据当前的活动模型，预警器产生下一步行为，规划者负责判断所假设的行为如何反应在审计追踪数据上，以及如何将假设的行为与系统相关的审计追踪进行匹配。各个攻击剧本的证据会逐渐增加，活动模型组也会被更新，证据推理分析功能可以更新活动模型列表中的各攻击剧本出现的概率，根据攻击剧本的概率来推断检测入侵。
这种方法的优势在于有数学中的未确定推理理论作为基础，可以用模型证据来推理专家系统不容易处理的未确定的中间结论，而且还能够减少审计数据量；不足之处是增加了创建入侵检测模型的系统开销。此外，这种方法也只能检测出已知的入侵行为，需要对数据库进行不断地扩充。
 
 
（三）5.2.3 异常检测
异常检测基于一个假定：用户的行为是可预测的、遵循一致性模式的，且随着用户事件的增加，异常检测会适应用户行为的变化。
基于异常的入侵检测方法是根据使用者的行为或资源使用状况的正常程度来判断是否发生入侵行为，而不依赖于具体行为是否出现。它事先建立被检测系统的正常行为模型，通过比较当前行为与正常行为的偏差来检测异常行为。例如，一般在白天使用计算机的用户，如果突然在午夜注册登录，则被认为是异常行为，有可能是入侵者在使用。  
用户行为的特征轮廓在异常检测中是由度量集来描述的。分为①Denning的原始模型②量化分析③统计度量④非参数统计度量⑤基于规则的方法。
第三节  5.3 分布式入侵检测
 
传统的入侵检测系统一般采用集中式模式，在被保护网络的各个网段中分别放置检测器进行数据包搜集和分析，各个检测器将检测信息传送给中央控制台进行统一处理，中央控制台还会向各个检测器发送命令。这种模式的缺点是难以及时对在复杂网络上发起的分布式攻击进行数据分析以至于无法完成检测任务，入侵检测系统本身所在的主机还可能面临因为负荷过重而崩溃的危险。此外入侵检测系统一般采用单一的检测分析方法，随着网络攻击方法的日趋复杂化，单一的基于异常检测或者误用检测的分析方法所获得的效果很难令人满意。
此外，在大型网络中，网络的不同部分可能分别采用不同的入侵检测系统，各个入侵检测系统之间通常不能互相协作，不仅不利于检测工作，甚至还会产生新的安全漏洞。
对于上述问题，采用分布式结构的入侵检测模式是解决方案之一，也是目前入侵检测技术的一个研究方向。这种模式的系统采用分布式智能代理的结构，由一个或者多个中央智能代理和大量分布在网络各处的本地代理组成。其中本地代理负责处理本地事件，中央代理负责统一调控各个本地代理的工作以及从整体上完成对网络事件进行综合分析的工作。检测工作通过全部代理互相协作共同完成。
 
（一）5.3.1 分布式入侵检测的优势
分布式入侵检测由于采用了非集中的系统结构和处理方式，相对于传统的单机IDS具有一些明显的优势：①检测大范围的攻击行为②提高检测的准确度③提高检测效率④协调响应措施。
 
（二）5.3.2分布式入侵检测的技术难点
①事件产生及存储②状态空间管理及规则复杂度③知识库管理④推理技术
 
第四节  5.4 入侵检测系统的标准
 
①IETF/IDWG。IDWG（入侵检测工作组）定义了用于入侵检测与响应系统之间或与需要交互的管理系统之间的信息共享所需要的数据格式和交换规程。IDWG提出了三项建议草案：入侵检测消息交换格式（IDMEF）、入侵检测交换协议（IDXP）及隧道轮廓（Tunnel Profile）
②CIDF。CIDF（公共入侵检测框架）的工作集中体现在四个方面：IDS的体系结构、通信机制、描述语言和应用编程接口API。
 
（一）5.4.2 CIDF  ★
CIDF的体系结构组成：
分为四个基本组件：事件产生器、事件分析器、响应单元和事件数据库。事件产生器、事件分析器、响应单元通常以应用程序的形式出现，而事件数据库则是以文件或数据流的形式。