方便获取每日安全资讯的爬虫和推送程序

作者:Sec-Labs | 发布时间:

yarb (Yet Another Rss Bot)

一个方便获取每日安全资讯的爬虫和推送程序。支持导入 opml 文件,因此也可以订阅其他任何 RSS 源。

懒人福音,每日自动更新,点击右上角 Watch 即可:每日安全资讯历史存档

项目地址

https://github.com/VulnTotal-Team/yarb

安装

$ git clone https://github.com/firmianay/yarb.git
$ cd yarb && ./install.sh

运行

本地搭建

编辑配置文件 config.json,启用所需的订阅源和机器人(key 也可以通过环境变量传入),最好启用代理。

$ ./yarb.py --help                            
usage: yarb.py [-h] [--update] [--cron CRON] [--config CONFIG] [--test]
optional arguments:
  -h, --help       show this help message and exit
  --update         Update RSS config file
  --cron CRON      Execute scheduled tasks every day (eg:"11:00")
  --config CONFIG  Use specified config file
  --test           Test bot

# 单次任务
$ ./yarb.py

# 每日定时任务
$ nohup ./yarb.py --cron 11:00 > run.log 2>&1 &

Github Actions

利用 Github Actions 提供的服务,你只需要 fork 本项目,在 Settings 中添加 secrets,即可完成部署。

目前支持的推送机器人及对应的 secrets:

订阅源

推荐订阅源:

其他订阅源:

非安全订阅源:

添加自定义订阅有两种方法:

  1. config.json 中添加本地或远程仓库:
    {
      "rss": {
          "CustomRSS": {
              "enabled": true,
              "filename": "CustomRSS.opml"
          },
          "CyberSecurityRSS": {
              "enabled": true,
              "url": "https://raw.githubusercontent.com/zer0yu/CyberSecurityRSS/master/CyberSecurityRSS.opml",
              "filename": "CyberSecurityRSS.opml"
          },

     

 
  1. rss/CustomRSS.opml 中添加链接:
    <?xml version="1.0" encoding="UTF-8"?>
    <opml version="2.0">
    <head><title>CustomRSS</title></head>
    <body>
    <outline type="rss" xmlUrl="https://forum.butian.net/Rss" text="奇安信攻防社区" title="奇安信攻防社区" htmlUrl="https://forum.butian.net" />
    </body>
    </opml>

     

 

标签:工具分享, 安全资讯, 安全爬虫