ait-aecid/logdata-anomaly-miner

# logdata-anomaly-miner []( "https://aecidjenkins.ait.ac.at/job/AECID/job/AECID/job/logdata-anomaly-miner/job/main/") [](https://deepsource.io/gh/ait-aecid/logdata-anomaly-miner/?ref=repository-badge) 该工具解析日志数据，并允许定义用于异常检测的分析流水线。其设计旨在使用有限的资源和尽可能低的权限运行分析，以使其适用于生产服务器环境。 [](https://www.youtube.com/watch?v=tL7KiMf8NfE) ## 系统要求 为了安装 logdata-anomaly-miner，需要配备 **python >= 3.6** 的 **Linux 系统**。目前推荐使用我们在测试中涵盖的所有 **Ubuntu** 和 **Debian** 版本。 对 **Fedora** 仅有实验性支持。 具体而言，经过测试的系统包括 Debian Buster、Debian Bullseye、Debian Bookworm、Ubuntu 20.04、Ubuntu 22.04、Fedora（docker 镜像 fedora:latest）和 RedHat（docker 镜像 redhat/ubi9）。 _更多模块依赖请参阅 [requirements.txt](https://github.com/ait-aecid/logdata-anomaly-miner/requirements.txt)_ ## 安装说明 ### Debian 官方 Debian/Ubuntu 仓库中提供了 logdata-anomaly-miner 的 Debian 软件包。 ``` apt-get update && apt-get install logdata-anomaly-miner ``` ### 从源码安装 以下命令将安装最新的稳定版本： ``` cd $HOME wget https://raw.githubusercontent.com/ait-aecid/logdata-anomaly-miner/main/scripts/aminer_install.sh chmod +x aminer_install.sh ./aminer_install.sh ``` ### Docker 有关使用 Docker 进行安装的信息，请参阅：[Deployment with Docker](https://github.com/ait-aecid/logdata-anomaly-miner/wiki/Deployment-with-Docker) ## 快速入门 以下是一些有助于开始配置的阅读资源： * [Getting started](https://github.com/ait-aecid/logdata-anomaly-miner/wiki/Getting-started-(tutorial)) * [Some available configurations](https://github.com/ait-aecid/logdata-anomaly-miner/tree/main/source/root/etc/aminer/) * [Documentation](https://aeciddocs.ait.ac.at/logdata-anomaly-miner/) * [Wiki](https://github.com/ait-aecid/logdata-anomaly-miner/wiki) ## 发表论文 出版物和演讲： * Landauer M., Wurzenberger M., Skopik F., Hotwagner W., Höld G. (2023): [AMiner: A Modular Log Data Analysis Pipeline for Anomaly-based Intrusion Detection](https://dl.acm.org/doi/full/10.1145/3567675). [Digital Threats: Research and Practice](https://dl.acm.org/toc/dtrap/2023/4/1), Volume 4, Issue 1. March 2023, pp. 1–16, ACM. \[[PDF](https://dl.acm.org/doi/pdf/10.1145/3567675)\] * Wurzenberger M., Skopik F., Settanni G., Fiedler R. (2018): [AECID: A Self-learning Anomaly Detection Approach Based on Light-weight Log Parser Models](http://www.scitepress.org/DigitalLibrary/Link.aspx?doi=10.5220/0006643003860397). [4th International Conference on Information Systems Security and Privacy (ICISSP 2018)](http://www.icissp.org/), January 22-24, 2018, Funchal, Madeira - Portugal. INSTICC. \[[PDF](https://pdfs.semanticscholar.org/cd58/8e51d7a1d7f02f95ef2127623b21e2cd02c6.pdf)\] * Wurzenberger M., Landauer M., Skopik F., Kastner W. (2019): AECID-PG: [AECID-PG: A Tree-Based Log Parser Generator To Enable Log Analysis](https://ieeexplore.ieee.org/document/8717887). [4th IEEE/IFIP International Workshop on Analytics for Network and Service Management (AnNet 2019)](https://annet2019.moogsoft.com/) in conjunction with the [IFIP/IEEE International Symposium on Integrated Network Management (IM)](https://im2019.ieee-im.org/), April 8, 2019, Washington D.C., USA. IEEE. \[[PDF](https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8717887)\] * Landauer M., Skopik F., Wurzenberger M., Hotwagner W., Rauber A. (2019): [A Framework for Cyber Threat Intelligence Extraction from Raw Log Data](https://ieeexplore.ieee.org/document/9006328). [International Workshop on Big Data Analytics for Cyber Threat Hunting (CyberHunt 2019)](https://securitylab.no/cyberhunt2019/) in conjunction with the [IEEE International Conference on Big Data 2019](http://bigdataieee.org/BigData2019/), December 9-12, 2019, Los Angeles, CA, USA. IEEE. \[[PDF](https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=9006328)\] 完整的出版物列表可在 [https://aecid.ait.ac.at/further-information/](https://aecid.ait.ac.at/further-information/) 找到。 ## 贡献 我们乐意接受补丁和其他贡献。请参阅以下链接以了解如何开始： * [ How to install a development environment ](https://github.com/ait-aecid/logdata-anomaly-miner/wiki/Installing-a-development-environment) * [ Git development workflow ](https://github.com/ait-aecid/logdata-anomaly-miner/wiki/Git-development-workflow) ## Bug 反馈 如果您遇到任何 bug，请在 [Github](https://github.com/ait-aecid/logdata-anomaly-miner/issues) 上创建 issue。 ## 安全 如果您发现任何与安全相关的问题，请先阅读 [SECURITY.md](/SECURITY.md) 并报告问题。 ## 许可证 [GPL-3.0](LICENSE) ## 资金支持 本项目通过奥地利 KIRAS 安全研究计划下的研究项目 CAIS (832345)、CIIS (840842) 和 CISA (850199)，奥地利研究促进协会 (FFG) “未来 ICT” 计划下的研究项目 synERGY (855457) 和 DECEPT (873980)，欧洲国防工业发展计划 (EDIDP) 下的研究项目 PANDORA (SI2.835928)，以及欧洲第七框架计划 (FP7) 和 Horizon 2020 下的研究项目 ECOSSIAN (607577) 和 GUARD (833456) 获得了资金支持。

标签：Debian, Docker, Python, 代码示例, 低权限, 安全运营, 安全防御评估, 异常检测, 扫描框架, 数据分析, 无后门, 日志挖掘, 生产环境, 网络安全, 自动化分析, 请求拦截, 资源受限, 跨站脚本, 逆向工具, 隐私保护