osssanitizer/maloss
GitHub: osssanitizer/maloss
面向解释型语言包管理器的供应链攻击测量与恶意软件检测框架，支持多语言静态污点分析和动态行为追踪。
Stars: 136 | Forks: 23
# 目录
* [简介](#introduction)
* [前置条件](#prerequisite)
* [基础](#basics)
* [依赖](#dependencies)
* [开发](#development)
* [结构](#structure)
* [说明](#instructions)
* [操作指南](#howto)
* [select_pm](#select_pm)
* [select_pkg](#select_pkg)
* [crawl](#crawl)
* [edit_dist](#edit_dist)
* [download](#download)
* [get_versions](#get_versions)
* [get_author](#get_author)
* [get_dep](#get_dep)
* [get_stats](#get_stats)
* [build_dep](#build_dep)
* [build_author](#build_author)
* [split_graph](#split_graph)
* [install](#install)
* [astgen](#astgen)
* [astfilter](#astfilter)
* [taint](#taint)
* [filter_pkg](#filter_pkg)
* [static](#static)
* [dynamic](#dynamic)
* [interpret_trace](#interpret_trace)
* [interpret_result](#interpret_result)
* [compare_ast](#compare_ast)
* [filter_versions](#filter_versions)
* [compare_hash](#compare_hash)
* [grep_pkg](#grep_pkg)
* [speedup](#speedup)
* [工具](#tool)
* [互联网范围扫描](#internet-wide-scanning)
* [不同包管理器的统计信息](#statistics-for-different-package-managers)
* [不同语言的静态分析工具](#static-analysis-tools-for-different-languages)
* [不同语言的 AST 解析器](#ast-parsers-for-different-languages)
* [资源](#resource)
* [参考](#reference)
# 简介
该项目用于分析开源项目中的恶意软件。
由于社区的高需求，我们决定按现状开源代码，以便进行协作。
大部分代码更新至 2019 年 5 月，这意味着某些组件可能不再工作。
特别是依赖外部工具（如 Sysdig, Airflow）或 API（如 Npm）的组件。
我们正在积极进行测试和改进。请查看[此处的待办事项列表](TODO.md)。
关于如何运行命令，请参考[操作指南部分](#howto)。关于如何在机器上部署，请参考[部署说明](DEPLOY.md)。关于如何请求访问供应链攻击样本，请参考[请求说明](malware/README.md)
本仓库基于 MIT 许可证开源。如果您发现本仓库有帮助，请引用我们的论文：
```
@inproceedings{duan2021measuring,
title={Towards Measuring Supply Chain Attacks on Package Managers for Interpreted Languages},
author={Duan, Ruian and Alrawi, Omar and Kasturi, Ranjita Pai and Elder, Ryan and Saltaformaggio, Brendan and Lee, Wenke},
booktitle = {28th Annual Network and Distributed System Security Symposium, {NDSS}},
month = Feb,
year = {2021},
url = {https://www.ndss-symposium.org/wp-content/uploads/ndss2021_1B-1_23055_paper.pdf}
}
```
# 前置条件
## 基础
- docker
- [安装 docker](https://docs.docker.com/install/linux/docker-ce/ubuntu/)
- ubuntu 的基本设置
- `sudo ./setup.sh`
- 对于其他操作系统（即 MacOS 和 Windows），请查看 `setup.sh` 并找出它们的等效命令
## 依赖
- 要在本地测试和运行项目，您需要依赖项。有两种方法准备依赖
- 构建 maloss docker 镜像并在其中测试
- 构建 docker 镜像
- `sudo docker build -t maloss .`
- 不使用缓存重新构建 docker 镜像（在重新构建镜像时使用）
- `sudo docker build -t maloss . --no-cache`
- 运行 docker 镜像并将本地源代码根目录映射到其中
- `sudo docker run -it --rm -v $(pwd):/code maloss /bin/bash`
- 切换到映射的挂载源代码根目录并开始进行更改
- `cd /code`
- 在本地安装依赖项并测试
- 这些说明适用于 ubuntu 16.04。如果您发现它们在其他系统上不起作用，请修复并提交必要的更改。这些说明只是从 Dockerfile 复制的，请查看它以进行故障排除。
- 用于 js 和 python 静态分析开发
- `pip install -r src/requirements.txt --user`
- 对于其他内容（TODO：简化这个巨大的列表）
- `sudo apt-get install -yqq curl php git ruby-full rubygems-integration nuget python python-pip python3-pip npm jq strace`
- `sudo ./src/install_dep.sh`
# 开发
## 结构
- *registries* 文件夹包含用于镜像包管理器的源代码。要运行该程序，Npm 需要 10TB，PyPI 需要 5TB，RubyGems 需要 5TB。
- *src* 文件夹包含用于静态、动态和元数据分析的源代码。
- *main* 文件夹包含用于动态编排的源代码。
- *airflow* 文件夹包含用于静态编排的源代码。
- *sysdig* 文件夹包含用于动态追踪的设置和配置。
- *data* 包含蜜罐设置和统计数据。
- *config* 包含用于静态分析的配置。
- *doc* 包含手动标记的 API，用于生成 *config*。
- *testdata* 包含测试样本。
- *ref* 包含相关工作。
- *benignware* 包含一些良性包。
- *malware* 包含恶意样本*列表*，可用于防护。
- [*maloss-samples*](https://github.com/osssanitizer/maloss-samples) 是一个私有仓库，包含供应链攻击样本并定期更新。请填写 [Google 表单](https://forms.gle/MwsN6fydMRWL1j5V9) 申请访问权限。我们会尽快回复。
## 说明
- 在这个项目中，我们目前使用 *celery* + *rabbitmq* 以分布式方式运行我们的元数据和动态分析。我们使用 *airflow* + *celery* 来运行我们的静态分析。
- *src/* 文件夹包含每个单独分析的代码，应该精简且自包含。
- 特别是，对于静态/动态/元数据分析，*src/* 文件夹中的作业应仅处理一个包和一个版本。
- 每个单独的分析应该在该文件夹中开发和包含。
- *main/* 文件夹处理元数据和动态分析的分布式计算。
- 主节点加载作业列表（要分析的包及其版本），并将它们发送到 rabbitmq broker。
- 从节点连接到 broker 并从中获取作业。
- 每个单独的分析可能需要更改此文件夹中的 *.env*。
- *airflow/* 文件夹处理静态分析的分布式计算。
- 主节点加载作业的 DAG（通过依赖关系连接的包），并将它们发送到 redis broker。
- 从节点连接到 broker 并从中获取作业。
- 每个单独的分析可能需要更改此文件夹中的 *.env*。
- 在这个项目中，我们使用 docker 运行每个分析。以下步骤展示了如何为元数据和动态分析启动或调试分布式作业。
- 在 worker 上
- 从 `main/config.tmpl` 创建自定义 `main/config`
- 构建 docker 镜像
- `sudo docker build -t maloss .`
- 不使用缓存重新构建 docker 镜像（在重新构建镜像时使用）
- `sudo docker build -t maloss . --no-cache`
- 用于测试，运行 docker 镜像并附加到它
- `sudo docker run -it --rm --cap-add=SYS_PTRACE -v /tmp/result:/home/maloss/result -v /tmp/metadata:/home/maloss/metadata maloss /bin/bash`
- 用于生产，请参考 *DEPLOY.md*
- 在 master 上
- 从 `main/config.tmpl` 创建自定义 `main/config`
- 启动 rabbitmq
- `cd main && sudo docker-compose --compatibility -f docker-compose-master.yml up -d`
- 将作业添加到队列
- `python detector.py install -i ../data/pypi.csv`
- 调试
- 在 `main/config` 中注释掉 `QUEUING = Celery` 行，然后作业应该在本地按顺序运行。
- celery worker 的入口点是 `main/celery_tasks.py`，master 的入口点是 `main/detector.py`。
- TODO：如何调试静态分析
# 操作指南
## select_pm
- 根据 num_pkg 阈值选择要检查的包管理器
- `python main.py select_pm`
## select_pkg
- 根据指定标准（如下载量或使用次数）选择流行的包
- `python main.py select_pkg ../data/pypi.with_stats.csv ../data/pypi.with_stats.popular.csv -n 10000`
- `python main.py select_pkg ../data/maven.csv ../data/maven.popular.csv -n 10000 -f use_count`
## crawl
- 爬取指定的包管理器并保存包名
- `python main.py crawl $package_manager $outfile`
- 爬取指定的包管理器以获取包名，查找下载统计数据，并保存到文件
- `python main.py crawl $package_manager $outfile -s -p 24`
## edit_dist
- 对包名运行编辑距离算法
- `python main.py edit_dist $source -t $target $outfile`
- `python main.py edit_dist ../data/pypi.with_stats.csv ../data/edit_dist/pypi_edist_dist.out -a c_edit_distance_batch -p 16`
- `python main.py edit_dist ../data/pypi.with_stats.popular.csv ../data/edit_dist/pypi_pop_vs_all.out -t ../data/pypi.with_stats.csv -a c_edit_distance_batch -p 16 --pair_outfile ../data/edit_dist/pypi_pop_vs_all.csv`
## download
- 使用 pip 下载 tarball 文件，[链接](https://stackoverflow.com/questions/7300321/how-to-use-pythons-pip-to-download-and-keep-the-zipped-files-for-a-package)
- `pip download --no-binary :all: --no-deps package`
- 使用 npm 下载 tgz 文件，[链接](https://stackoverflow.com/questions/15035786/download-source-from-npm-without-npm-install-xxx)
- `npm pack package`
- 使用 composer 下载 php 包
- `composer require -d ../testdata/php --prefer-source --no-scripts package`
- 使用 gem 下载 ruby 包
- `gem fetch package`
- 使用 maven 下载 java 包
- `mvn dependency:get -Dartifact=com.google.protobuf:protobuf-java:3.5.1 -Dtransitive=false && cp ~/.m2/repository/com/google/protobuf/protobuf-java/3.5.1/protobuf-java-3.5.1.jar ./`
## get_versions
- 运行 get_versions 作业以获取包列表的主要版本
- `python main.py get_versions ../data/pypi.with_stats.popular.csv ../data/pypi.with_stats.popular.versions.csv -l python -c /data/maloss/info/python`
- `python main.py get_versions ../data/maven.popular.csv ../data/maven.popular.versions.csv -c /data/maloss/info/java -l java`
- 运行 get_versions 作业以获取包列表的所有版本
- `python main.py get_versions ../data/2019.07/pypi.csv ../data/2019.07/pypi.versions.csv -c /data/maloss/info-2019.07/python -l python --max_num -1`
- 运行 get_versions 作业以获取包列表的所有版本并包含其时间
- `python main.py get_versions ../data/2019.07/pypi.csv ../data/2019.07/pypi.versions.csv -c /data/maloss/info-2019.07/python -l python --max_num -1 --with_time`
- 运行 get_versions 作业以获取包列表的最近版本
- `python main.py get_versions ../data/2019.07/pypi.csv ../data/2019.07/pypi.versions.csv -c /data/maloss/info-2019.07/python -l python --max_num 100 --min_gap_days 1`
## get_author
- 运行 get_author 作业以获取包列表的作者
- `python main.py get_author ../data/pypi.with_stats.popular.csv ../data/pypi.with_stats.with_author.popular.csv -l python -c /data/maloss/info/python`
## get_dep
- 运行 get_dep 作业以列出 python 包的依赖
- `python main.py get_dep -l python -n protobuf -c ../testdata`
- `python main.py get_dep -l python -n scrapy -c ../testdata`
- 运行 get_dep 作业以列出 javascript 包的依赖
- `python main.py get_dep -l javascript -n eslint -c ../testdata`
- 运行 get_dep 作业以列出 ruby 包的依赖
- `python main.py get_dep -l ruby -n protobuf -c ../testdata`
- 运行 get_dep 作业以列出 php 包的依赖
- `python main.py get_dep -l php -n designsecurity/progpilot -c ../testdata`
- 运行 get_dep 作业以列出 java 包的依赖
- `python main.py get_dep -l java -n com.google.protobuf/protobuf-java -c ../testdata`
## get_stats
- 获取指定包的统计信息
- `python main.py get_stats ../malware/npmjs-mal-pkgs.june2019.txt ../malware/npmjs-mal-pkgs.june2019.with_stats.txt.new -m npmjs`
- 获取指定包的统计信息
- `python main.py get_stats ../malware/pypi-mal-pkgs.txt ../malware/pypi-mal-pkgs.with_stats.txt -m pypi
## build_dep
- 构建依赖图
- `python main.py build_dep -c /dataaloss/info/python -l python ../data/pypi.with_stats.csv ../airflow/data/pypi.with_stats.dep_graph.pickle`
- 构建带版本的依赖图（*--record_version* 选项）
- `python main.py build_dep -c /data/maloss/info/python -v -l python ../data/pypi.with_stats.popular.versions.csv ../airflow/data/pypi.with_stats.popular.versions.dep_graph.pickle`
## build_author
- 为 pypi/npmjs/rubygems/packagist 中的流行包构建作者包图
- `python main.py build_author ../data/author_pkg_graph.popular.pickle -i ../data/pypi.with_stats.with_author.popular.csv ../data/npmjs.with_stats.with_author.popular.csv ../data/rubygems.with_stats.with_author.popular.csv ../data/packagist.with_stats.with_author.popular.csv -l python javascript ruby php -t ../data/top_authors.popular.json`
- 为 pypi/npmjs/rubygems/packagist/maven 中的所有包构建作者包图
- `python main.py build_author ../data/author_pkg_graph.pickle -i ../data/pypi.with_stats.with_author.csv ../data/npmjs.with_stats.with_author.csv ../data/rubygems.with_stats.with_author.csv ../data/packagist.with_stats.with_author.csv ../data/maven.with_author.csv -l python javascript ruby php java -t ../data/top_authors.json`
## split_graph
- 分割依赖图
- 先解压 pickle 文件
- `tar -zxf ../airflow/data/pypi.with_stats.dep_graph.pickle.tgz`
- 分割成 N 份
- `python main.py split_graph ../airflow/data/pypi.with_stats.dep_graph.pickle ../airflow/pypi_dags/ -d ../airflow/data/pypi_static.py -n 20`
- `python main.py split_graph ../airflow/data/pypi.with_stats.popular.versions.dep_graph.pickle ../airflow/pypi_version_dags/ -d ../airflow/data/pypi_static_versions.py -n 10`
- `python main.py split_graph ../airflow/data/maven.dep_graph.pickle ../airflow/maven_dags/ -d ../airflow/data/maven_static.py -n 20`
- 分割成 N 份和 K 个文件夹
- `python main.py split_graph ../airflow/data/maven.popular.versions.dep_graph.pickle.tgz ../airflow/maven_version_dags/ -d ../airflow/data/maven_static_versions.py -n 80 -k 4`
- 分割出包含种子节点的子图
- `python main.py split_graph ../airflow/data/pypi.with_stats.dep_graph.pickle ../airflow/pypi_dags/ -d ../airflow/data/pypi_static.py -s ../data/pypi.with_stats.popular.csv`
## install
- 运行 install 作业以安装 python 包并捕获追踪
- `python main.py install -n protobuf -l python -c ../testdata -o ../testdata`
- 运行 install 作业以安装 javascript 包并捕获追踪
- `python main.py install -n eslint -l javascript -c ../testdata -o ../testdata`
- 运行 install 作业以安装 ruby 包并捕获追踪
- `python main.py install -n protobuf -l ruby -c ../testdata -o ../testdata`
- 运行 install 作业以安装 php 包并捕获追踪
- `python main.py install -n designsecurity/progpilot -l php -c ../testdata -o ../testdata`
- 运行 install 作业以安装 java 包并捕获追踪
- `python main.py install -n com.google.protobuf/protobuf-java -l java -c ../testdata -o ../testdata`
## astgen
- 运行 astgen 作业以计算 python 和 python3 包的 ast
- `python main.py astgen ../testdata/test-eval-exec.py ../testdata/test-eval-exec.py.out -c ../config/test_astgen_python.config`
- `python main.py astgen ../testdata/html5lib-1.0.1.tar.gz ../testdata/html5lib-1.0.1.tar.gz.out -c ../config/test_astgen_python.config`
- `python main.py astgen ../testdata/python-taint-0.40.tar.gz ../testdata/python-taint-0.40.tar.gz.out -c ../config/test_astgen_python.config`
- 运行 astgen 作业以计算 javascript 包的 ast
- `python main.py astgen ../testdata/test-eval.js ../testdata/test-eval.js.out -c ../config/test_astgen_javascript.config -l javascript`
- `python main.py astgen ../testdata/urlgrey-0.4.4.tgz ../testdata/urlgrey-0.4.4.tgz.out -c ../config/test_astgen_javascript.config -l javascript`
- 运行 astgen 作业以计算 php 包的 ast
- `cd static_proxy && php astgen.php -c ../../config/test_astgen_php.config.bin -i ../../testdata/test-eval-exec.php -o ../../testdata/test-eval-exec.php.out.bin && cd ..`
- `python main.py astgen ../testdata/test-eval-exec.php ../testdata/test-eval-exec.php.out -c ../config/test_astgen_php.config -l php`
- `python main.py astgen ../testdata/test-backtick.php ../testdata/test-backtick.php.out -c ../config/test_astgen_php.config -l php`
- `python main.py astgen ../testdata/php/vendor/guzzlehttp/guzzle/ ../testdata/guzzlehttp_guzzle.out -c ../config/test_astgen_php.config -l php`
- 运行 astgen 作业以计算 ruby 包的 ast
- `cd static_proxy && ruby astgen.rb -c ../../config/test_astgen_ruby.config.bin -i ../../testdata/test-eval.rb -o ../../testdata/test-eval.rb.out.bin && cd ..`
- `python main.py astgen ../testdata/test-eval.rb ../testdata/test-eval.rb.out -c ../config/test_astgen_ruby.config -l ruby`
- 运行 astgen 作业以计算 java 包的 ast
- `cd static_proxy/astgen-java && java -jar target/astgen-java-1.0.0-jar-with-dependencies.jar -help && cd ../../`
- `cd static_proxy/astgen-java && java -jar target/astgen-java-1.0.0-jar-with-dependencies.jar -inpath ../../../testdata/Test.jar -outfile ../../../testdata/Test.jar.out -intype JAR -config ../../../config/astgen_java_smt.config -process_dir ../../../testdata/Test.jar && cd ../../`
- `python main.py astgen ../testdata/protobuf-java-3.5.1.jar ../testdata/protobuf-java-3.5.1.jar.out -c ../config/test_astgen_java.config -l java`
- `python main.py astgen ../testdata/Test.jar ../testdata/Test.jar.out -c ../config/astgen_java_smt.config -l java`
## astfilter
- 在 astfilter 作业中为每种语言使用名为 `../config/astgen_XXX_smt.config` 的配置（例如 `../config/astgen_javascript_smt.config`）
- 运行 astfilter 作业以评估 python/pypi 包及其依赖包的 api 使用情况
- `python main.py astfilter -n protobuf -c $python_config -d ../testdata/ -o ../testdata/`
- 运行 astfilter 作业以评估 javascript/npmjs 包及其依赖包的 api 使用情况
- `python main.py astfilter -n eslint-scope -c $javascript_config -d ../testdata/ -o ../testdata/ -l javascript`
- 运行 astfilter 作业以评估 php/packagist 包及其依赖包的 api 使用情况
- `python main.py astfilter -n designsecurity/progpilot -c $php_config -d ../testdata/ -o ../testdata/ -l php`
- 运行 astfilter 作业以评估 ruby/rubygems 包及其依赖包的 api 使用情况
- `python main.py astfilter -n protobuf -c $ruby_config -d ../testdata/ -o ../testdata -l ruby`
- 运行 astfilter 作业以评估 java/maven 包及其依赖包的 api 使用情况
- `python main.py astfilter -n com.google.protobuf/protobuf-java -c $java_config -d ../testdata/ -o ../testdata -l java`
## taint
- 对特定包运行污点分析
- `python main.py taint -n json -d /data/maloss/info/ruby -o /data/maloss/result/ruby -l ruby -c ../config/astgen_ruby_smt.config`
- 对特定包运行污点分析并忽略其依赖项
- `python main.py taint -n urllib -i ../malware/pypi-samples/urllib-1.21.1.tgz -d /data/maloss/info/python -o ./ -l python -c ../config/astgen_python_smt.config`
- `python main.py taint -n django-server -i ../malware/pypi-samples/django-server-0.1.2.tgz -d /data/maloss/info/python -o ./ -l python -c ../config/astgen_python_smt.config`
- `pip download --no-binary :all: --no-deps trustme && python main.py taint -n trustme -i trustme-0.5.1.tar.gz -d /data/maloss/info/python -o ./ -l python -c ../config/astgen_python_smt.config`
- `python main.py taint -n eslint-scope -i ../malware/npmjs-samples/eslint-scope-3.7.2.tgz -d /data/maloss/info/javascript -o ./ -l javascript -c ../config/astgen_javascript_smt.config`
- `python main.py taint -n custom8 -i static_proxy/jsprime/jsprimetests/custom8.js -d /data/maloss/info/javascript -o ./ -l javascript -c ../config/astgen_javascript_smt.config`
- `python main.py taint -n stream-combine -i ../malware/npmjs-samples/stream-combine-2.0.2.tgz -d /data/maloss/info/javascript -o ./ -l javascript -c ../config/astgen_javascript_smt.config`
- `python main.py taint -n test-eval-exec -i ../testdata/test-eval-exec.php -d /data/maloss/info/php -o ./ -l php -c ../config/astgen_php_smt.config`
- `python main.py taint -n test-multiple-flows -i static_proxy/progpilot/projects/tests/tests/flows/ -d /data/maloss/info/php -o ./ -l php -c ../config/astgen_php_smt.config`
- `python main.py taint -n test-flow -i ../testdata/test-flow.php -d /data/maloss/info/php -o ./ -l php -c ../config/astgen_php_smt.config`
- 对特定输入文件运行污点分析
- `python main.py taint -n active-support -l ruby -c ../config/astgen_ruby_smt.config -i ../malware/rubygems-samples/active-support-5.2.0.gem -o ./`
- `python main.py taint -n bootstrap-sass -l ruby -c ../config/astgen_ruby_smt.config -i ../malware/rubygems-samples/bootstrap-sass-3.2.0.3.gem -o ./`
- `python main.py taint -n brakeman-rails4 -l ruby -c ../config/astgen_ruby_smt.config -i ../testdata/rails4/ -o ./`
## filter_pkg
- 根据 api 使用情况或流的存在过滤包
- `python main.py filter_pkg ../data/pypi.with_stats.csv ../data/pypi.with_stats.with_taint_apis.csv -c ../config/astgen_python_taint_apis.config -o /data/maloss/result/python -d /data/maloss/info/python -l python`
- `python main.py filter_pkg ../data/rubygems.with_stats.csv ../data/rubygems.with_stats.with_taint_apis.csv -c ../config/astgen_ruby_taint_apis.config -o /data/maloss/result/ruby -d /data/maloss/info/ruby -l ruby`
- `python main.py filter_pkg ../data/npmjs.with_stats.csv ../data/npmjs.with_stats.with_taint_apis.csv -c ../config/astgen_javascript_taint_apis.config -o /data/maloss/result/javascript -d /data/maloss/info/javascript -l javascript`
- `python main.py filter_pkg ../data/packagist.with_stats.csv ../data/packagist.with_stats.with_taint_apis.csv -c ../config/astgen_php_taint_apis.config -o /data/maloss/result/php -d /data/maloss/info/php -l php`
- `python main.py filter_pkg ../data/maven.csv ../data/maven.with_taint_apis.csv -c ../config/astgen_java_taint_apis.config -o /data/maloss/result/java -d /data/maloss/info/java -l java`
## static
- 运行 static 作业以对 python 和 python3 包执行 astfilter、taint 和危险分析
- `python main.py static -n protobuf -c $python_config -d ../testdata/ -o ../testdata/`
## dynamic
- 运行 dynamic 作业以安装、维护和演练 python 包并捕获追踪
- `python main dynamic -n protobuf -l python -c ../testdata -o ../testdata`
## interpret_trace
- 运行 interpret trace 作业以解析动态追踪并将其转储到每个 pkg/version 的 protobuf 输出文件中
- 注意：启动 falco 解析追踪需要 sudo
- `sudo python main.py interpret_trace -l python --trace_dir /data/maloss1/sysdig/pypi -c /data/maloss/info/python -o /data/maloss/result/python -p 8`
## compare_ast
- 比较指定输入文件和包在权限、API 等方面的 ast
- `python main.py compare_ast -i ../malware/npmjs-samples/flatmap-stream-0.1.1.tgz ../benignware/npmjs-samples/flatmap-stream-0.1.0.tgz -o ../testdata/ ../testdata/flatmap-stream.json -l javascript -c ../config/astgen_javascript_smt.config`
- `python main.py compare_ast -i ../testdata/test-backtick.php ../testdata/test-eval-exec.php -o tempout/ tempout/test_eval_backtick.json -l php -c ../config/astgen_php_smt.config`
- `python main.py compare_ast -i ../malware/rubygems-samples/bootstrap-sass-3.2.0.3.gem ../benignware/rubygems-samples/bootstrap-sass-3.2.0.2.gem -l ruby -c ../config/astgen_ruby_smt.config -o ../testdata/ --outfile ../testdata/bootstrap-sass-compare.txt`
- `python main.py compare_ast -i ../malware/rubygems-samples/active-support-5.2.0.gem ../benignware/rubygems-samples/activesupport-5.2.3.gem -c ../config/astgen_ruby_smt.config -o ../testdata/ --outfile ../testdata/activesupport-compare.txt -l ruby`
## filter_versions
- 根据 compare_ast 结果过滤包版本，以允许进一步分析，如污点分析
- `python main.py filter_versions ../data/2019.07/packagist.versions.with_time.csv ../data/2019.07/packagist_ast_stats.apis.json ../data/2019.07/packagist.versions.with_time.filtered_loose_apis.csv`
## compare_hash
- 比较不同包管理器中相同包版本的哈希值
- `python main.py compare_hash -i ../data/maven.csv ../data/jcenter.csv -d /data/maloss/info/java /data/maloss/info/jcenter -o ../data/maven_jcenter.json`
- `python main.py compare_hash -i ../data/jitpack.csv ../data/jcenter.csv -d /data/maloss/info/jitpack /data/maloss/info/jcenter -o ../data/jitpack_jcenter.json`
- 比较相同包版本及其内容哈希或 api 权限在不同包管理器中的哈希值
- `python main.py compare_hash -i ../data/jitpack.csv ../data/jcenter.csv -d /data/maloss/info/jitpack /data/maloss/info/jcenter -o ../data/jitpack_jcenter_filtered.json --inspect_content`
- `python main.py compare_hash -i ../data/jitpack.csv ../data/jcenter.csv -d /data/maloss/info/jitpack /data/maloss/info/jcenter -o ../data/jitpack_jcenter_filtered.json --inspect_api -c ../config/astgen_java_smt.config`
- `python main.py compare_hash -i ../data/jitpack.csv ../data/jcenter.csv -d /data/maloss/info/jitpack /data/maloss/info/jcenter -o ../data/jitpack_jcenter_filtered_api.json --inspect_api -c ../config/astgen_java_smt.config --compare_hash_cache ../data/jitpack_jcenter_filtered.json`
## interpret_result
- 收集并绘制 api 统计信息
- `python main.py interpret_result --data_type api -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.01/pypi.with_stats.csv ../data/pypi_api_stats.json`
- `python main.py interpret_result --data_type api -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.01/pypi.with_stats.popular.csv ../data/pypi_pop_api_stats.json`
- `python main.py interpret_result --data_type api -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.01/pypi.with_stats.csv ../data/pypi_api_mapping.json -d --detail_filename`
- 收集并绘制域统计信息
- `python main.py interpret_result --data_type domain -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.06/pypi.csv ../data/2019.06/pypi_domain_stats.json`
- `python main.py interpret_result --data_type domain -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.06/pypi.csv ../data/2019.06/pypi_domain_mapping.json -d`
- 收集预生成的依赖统计信息
- `python main.py interpret_result --data_type dependency -l python ../data/pypi.with_stats.popular.csv ../data/pypi_pop_dep_stats.json`
- 收集跨版本比较结果，可按权限、API 等过滤
- `python main.py interpret_result --data_type compare_ast -c /data/maloss/info/python -o /data/maloss/result/python -l python ../data/2019.06/pypi.with_stats.popular.csv ../data/2019.06/pypi_compare_ast_stats.json`
- `python main.py interpret_result --data_type compare_ast -c /data/maloss/info-2019.07/javascript -o /data/maloss/result-2019.07/javascript -l javascript ../data/2019.07/npmjs.csv ../data/2019.07/npmjs_ast_stats.json --compare_ast_options_file ../data/2019.07/compare_ast_options.json`
- 收集元数据/静态/动态结果并转储可疑包
- `python main.py interpret_result --data_type install_with_network -c /data/maloss/info/javascript -o /data/maloss/result/javascript -l javascript -m npmjs ../data/2019.06/npmjs.csv ../data/2019.06/npmjs.install_with_network.json`
- 收集反向依赖结果
- `python main.py interpret_result --data_type reverse_dep -l javascript -m npmjs ../airflow/data/high_impact.csv ../airflow/data/high_impact_npmjs.json`
- `python main.py interpret_result --data_type reverse_dep -l python -m pypi ../airflow/data/high_impact.csv ../airflow/data/high_impact_pypi.json`
- `python main.py interpret_result --data_type reverse_dep -l ruby -m rubygems ../airflow/data/high_impact.csv ../airflow/data/high_impact_rubygems.json`
- 收集元数据/静态/compare_ast 结果并转储可疑包
- `python main.py interpret_result --data_type correlate_info_api_compare_ast -c /data/maloss/info-2019.07/javascript -o /data/maloss/result-2019.07/javascript -l javascript -m npmjs -s ../data/2019.07/npmjs_skip_list.json ../data/2019.07/npmjs_ast_stats.json ../data/2019.07/npmjs_correlate_info_api_compare_ast.json`
- `python main.py interpret_result --data_type correlate_info_api_compare_ast -c /data/maloss/info-2019.07/php -o /data/maloss/result-2019.07/php -l php -m packagist -s ../data/2019.07/packagist_skip_list.json ../data/2019.07/packagist_ast_stats.json ../data/2019.07/packagist_correlate_info_api_compare_ast.json`
- `python main.py interpret_result --data_type taint -c /data/maloss/info-2019.07/php -o /data/maloss/result-2019.07/php -l php ../data/2019.07/packagist.csv ../data/2019.07/packagist_flow_stats.json`
## grep_pkg
- 在包中 grep
- `python main.py grep_pkg ../data/2019.07/rubygems.csv ../data/2019.07/rubygems.csv.pastebin.com pastebin.com -l ruby -p 80`
- `python main.py grep_pkg ../data/2019.07/npmjs.csv ../data/2019.07/npmjs.csv.pastebin.com pastebin.com -l javascript -p 20`
## speedup
- 衡量摘要带来的加速效益
- `python main.py speedup ../data/2019.01/pypi.with_stats.popular.csv speedup.log -l python`
# 工具
## 互联网范围扫描
- [Shodan](https://www.shodan.io)
- [Censys](https://censys.io)
## 不同包管理器的统计信息
- [PyPi stats](https://github.com/ofek/pypinfo)
- [PyPi stats of packages](https://pypistats.org/packages/colourama)
- [NpmJS stats](https://github.com/pvorb/npm-stat.com)
- [npm-pack-dependents](https://github.com/IonicaBizau/npm-pack-dependents/blob/master/lib/index.js)
- [RubyGems stats](https://rubygems.org/stats)
- [Unofficial portal for RubyGems downloads](http://bestgems.org/gems/active-support)
- [Nuget stats](https://www.nuget.org/stats)
- [Packagist stats](https://github.com/GrahamCampbell/Packagist-Stats)
- [Packagist sumary](https://packagist.org/statistics)
- [Maven stats (used by other packages)](https://mvnrepository.com/)
- [Maven quick stats](https://search.maven.org/stats)
## 不同语言的静态分析工具
- 列表摘要
- [13 tools for checking the security risk of open-source dependencies](https://techbeacon.com/13-tools-checking-security-risk-open-source-dependencies-0)
- [Awesome Malware Analysis: a curated list of awesome malware analysis tools and resources](https://github.com/rshipp/awesome-malware-analysis)
- [A curated list of linters, code quality checkers, and other static analysis tools for various programming languages](https://github.com/mre/awesome-static-analysis)
- [PMD: An extensible cross-language static code analyzer. https://pmd.github.io](https://github.com/pmd/pmd)
- [PMD doesn't support inter-procedural analysis now](https://github.com/pmd/pmd/wiki/Project-Ideas-%5BInception%5D#data-flow-analysis-and-control-flow-graph)
- [Custom security ruleset for the popular Java static analysis tool PMD.](https://github.com/GDSSecurity/GDS-PMD-Security-Rules)
- Python
- [A Static Analysis Tool for Detecting Security Vulnerabilities in Python Web Applications](https://github.com/python-security/pyt)
- [Bandit is a tool designed to find common security issues in Python code](https://github.com/PyCQA/bandit)
- Php
- [A reviewed list of useful PHP static analysis tools](https://github.com/exakat/php-static-analysis-tools)
- [Detect potentially malicious PHP files](https://github.com/nbs-system/php-malware-finder)
- [Taint Analysis for PHP](https://github.com/olivo/TaintPHP)
- [Phpcs security audit](https://github.com/FloeDesignTechnologies/phpcs-security-audit)
- [Php Code Sniffer](https://github.com/squizlabs/PHP_CodeSniffer)
- [A static analysis tool for security](https://github.com/designsecurity/progpilot)
- [API and documentation for progpilot](https://github.com/designsecurity/progpilot/blob/master/docs/API.md)
- [PHP Global Variables - Superglobals](https://www.w3schools.com/php/php_superglobals.asp)
- [Taint is a PHP extension, used for dynamically detecting XSS codes](https://github.com/laruence/taint)
- Ruby
- [Check for Ruby security problems](https://github.com/rubysec/bundler-audit)
- [Locking Ruby in the Safe](http://phrogz.net/programmingruby/taint.html)
- [A static analysis security vulnerability scanner for Ruby on Rails applications](https://brakemanscanner.org/), [github](https://github.com/presidentbeef/brakeman)
- [Brakeman Pro is the best way to investigate security posture of Ruby on Rails application code.](https://brakemanpro.com/features)
- [Dawn is a static analysis security scanner for ruby written web applications. It supports Sinatra, Padrino and Ruby on Rails frameworks.](https://github.com/thesp0nge/dawnscanner)
- [Quality is a tool that runs quality checks on your code using community tools](https://github.com/apiology/quality)
- NpmJS
- [6 Tools to Scan Node.js Application for Security Vulnerability](https://geekflare.com/nodejs-security-scanner/)
- [node security platform command-line tool https://nodesecurity.io](https://github.com/nodesecurity/nsp)
- [a javascript static security analysis tool](http://dpnishant.github.io/jsprime/)
- [Blackhat 2013 talk for jsprime](https://www.slideshare.net/nishantdp/jsprime-bhusa13new)
- [JSHint is a tool that helps to detect errors and potential problems in your JavaScript code](https://github.com/jshint/jshint)
- [A First Look at Firefox OS Security](https://arxiv.org/pdf/1410.7754.pdf)
- WALA is slow
- JSPrime is also capable of performing dataflow analysis, but the architecture is extremely difficult to extend.
- ScanJS, written in-house by Mozilla, is closest in spirit to our own.
- [NodeJsScan is a static security code scanner for Node.js applications.](https://github.com/ajinabraham/NodeJsScan)
- [FLOW IS A STATIC TYPE CHECKER FOR JAVASCRIPT](https://flow.org/)
- [JSFlow is a security-enhanced JavaScript interpreter for fine-grained tracking of information flow.](http://www.jsflow.net/)
- [A tool for studying JavaScript malware.](https://github.com/CapacitorSet/box-js)
- [A Javascript malware analysis tool](
标签：DAST, NPM安全, Ruby安全, 云安全监控, 依赖攻击, 包管理器, 域名枚举, 域名枚举, 恶意软件分析, 文档安全, 统一API, 解释型语言, 请求拦截, 软件开发工具包, 逆向工具, 静态分析