bytewax/awesome-public-real-time-datasets

# 优质的公开实时数据集与数据源 [](https://awesome.re) 本列表的灵感来源于[优质公开数据集](https://github.com/awesomedata/awesome-public-datasets)，但主要专注于实时数据集与数据源。通常通过 HTTP 或 Websockets 访问。 本列表分为免费和付费两部分，并根据宽泛的类别细分为不同的小节。 ## 免费 ### 金融/加密货币 - [Coinbase 市场数据](https://docs.cloud.coinbase.com/exchange/docs/websocket-overview) - Coinbase 用于获取市场数据的 websocket，包括 level 2 订单簿数据。 - [区块链交易](https://www.blockchain.com/api/api_websocket) - 提供关于新交易和区块的实时通知。 - [Yahoo Finance](https://finance.yahoo.com/quote/%5EGSPC?p=%5EGSPC)`wss://streamer.finance.yahoo.com/` - 这并未在开发者文档中明确说明，但可以发现其 websocket 被用于更新他们的网站。 - [Finnhub](https://finnhub.io/docs/api/introduction) - 提供有限的免费使用额度，同时也提供付费的高级数据源。 - [CoinCheck](https://coincheck.com/documents/exchange/api#websocket) - 一个提供 WebSocket 接口（测试版）的加密货币 API。 - [Alpaca Markets](https://alpaca.markets/docs/market-data/) - 通过 HTTP 和 Websocket 提供实时和历史市场数据。 - [SEC EDGAR](https://www.sec.gov/search-filings/edgar-application-programming-interfaces) - SEC 通过 RESTful API 和 RSS 订阅源提供对监管文件（如 10-K、10-Q、8-K）的实时流访问，以及实时的 XBRL 财务数据。 - [FilingFirehose](https://filingfirehose.com) - 通过 REST 实时解析 SEC EDGAR 文件。正文分类的 8-K（捕获隐藏的网络和管理人员离职事件）、带有激进主义者标签的 Schedule 13D/G、S-3 / 424B5 中的 ATM 发行检测。免费公共层级覆盖过去 72 小时的数据，无需 API key。 - [Binance](https://developers.binance.com/docs/binance-spot-api-docs/web-socket-streams) - 提供实时加密货币交易数据和订单簿更新的 WebSocket API - [OANDA](https://github.com/oanda/py-api-streaming) - 通过 OANDA API 提供基于 HTTP 的外汇汇率流。 - [CoinCap](https://docs.coincap.io) - 为超过 1,000 种加密货币提供实时定价和市场活动数据 - [Polygon.io](https://polygon.io/docs/stocks/getting-started) - 通过 REST 和 WebSocket 端点提供来自所有美国交易所的实时股票市场和加密货币数据。 - [FinancialData.Net](https://financialdata.net/documentation) - 股票市场数据、财务报表、内部和机构交易数据、可持续发展数据、收益发布等。 - [CoinPaprika](https://api.coinpaprika.com) - 免费的加密货币市场数据 API，提供 7,000+ 种货币的实时价格、OHLCV 和行情。无需 API key。 - [DexPaprika](https://api.dexpaprika.com) - 免费的 DEX 数据 API，提供跨所有链的实时流动性池数据、代币价格、OHLCV 和交易历史。无需注册，无限制。 - [Pyth Network](https://docs.pyth.network/) - 通过单一 API 交付跨各种资产类别的金融市场数据。 - [Sharpe](https://www.sharpe.ai/docs/free-api) - 实时加密货币市场数据 API，涵盖资金费率、衍生品、套利、市场叙事、新币上市和新闻。 - [Agent Gateway](https://agent-gateway-kappa.vercel.app/prices) - 通过 Hyperliquid 为 500+ 种加密代币提供实时价格的免费 REST API。无需 API key。轮询 `GET /prices` 获取实时市场数据。 - [OpenChainBench](https://openchainbench.com) - 加密基础设施（RPC 提供商、桥接、预言机、L1 最终性、预测市场数据、Hyperliquid 构建者）的公开基准测试，每分钟通过 JSON 订阅源刷新，并在 [Hugging Face](https://huggingface.co/datasets/OpenChainBench/benchmarks) 上提供每日 Parquet 快照 (CC-BY-4.0)，存档于 Zenodo。[[DOI]](https://doi.org/10.5281/zenodo.20800311) - ### 交通 - [Open Rail Data](https://wiki.openraildata.com/index.php/Rail_Data_FAQ) - 一系列提供与英国铁路网络相关数据的 API，包括参考数据、列车时刻表和实时服务更新。实时数据使用 STOMP 协议进行流式传输。 - [GBFS New York](http://gbfs.citibikenyc.com/gbfs/gbfs.json) - GBFS 是共享单车数据的标准，在全球许多地点都有应用。可在[此处](https://github.com/MobilityData/gbfs/blob/master/gbfs.md)找到更多信息 - [Open Sky Flight](https://openskynetwork.github.io/opensky-api/rest.html) - 通过 HTTP 端点获取 Open Sky Api 数据。支持实时，但不支持流式传输。需要不断轮询。 - [Open Glider Network](http://wiki.glidernet.org/) - OGN 提供滑翔机和其他轻型飞机的实时交通数据。你可以使用 [python-ogn-client](https://github.com/glidernet/python-ogn-client) 等 OGN 客户端连接到 OGN 服务器，解析 APRS 消息，并将其推送到 Kafka 等代理以进行流处理。 - [MTA GTFS Feed](https://new.mta.info/developers) - 以 [GTFS 格式](https://developers.google.com/transit/gtfs-realtime/)提供如纽约市地铁和 Caltrain 等公交系统的交通数据。 - [NY 511 实时摄像头数据](https://511ny.org/cctv) - 此实时摄像头数据需要一些抓取操作才能使用。从该摄像头列表中，你可以找到单个摄像头的 ID，然后通过构建如下的 url 来请求带有时间戳的图像或最新图像 - `https://511ny.org/map/Cctv/` - [伦敦交通局](https://tfl.gov.uk/info-for/open-data-users/our-open-data) - 关于地铁、公交车等的实时数据 - [挪威海岸局](https://www.kystverket.no/en/navigation-and-monitoring/ais/access-to-ais-data/) - 挪威经济区内以及斯瓦尔巴群岛和扬马延岛保护区内船舶的 AIS 数据。 - [德国交通数据](https://mobilithek.info/offers?categories=%5B%22https%3A%2F%2Fw3id.org%2Fmdp%2Fschema%2Fdata_categories%23REALTIME_TRAFFIC_DATA%22%5D) - 德国的实时交通信息 - [瑞士交通与公共交通数据](https://opentransportdata.swiss/en/group/api-group) - 来自瑞士的各种实时交通数据，如道路交通、电动汽车充电站状态、共享出行服务以及公共交通的实时到发信息 - [Transport for NSW API](https://api.nsw.gov.au/ProductCatalogue?apiCategoryId=2) - 澳大利亚新南威尔士州可用的实时公共交通数据（公交车、火车、渡轮） - [爱尔兰国家交通局](https://developer.nationaltransport.ie/api-details#api=gtfsr&operation=gtfsr-v2) - 由 Dublin Bus、Bus Éireann 和 Go-Ahead Ireland 提供服务的实时更新流。 ### 信息 - [Wikimedia SSE](https://wikitech.wikimedia.org/wiki/Event_Platform/EventStreams) - Wikimedia 基金会页面最近更改的事件流。 - [地震数据](https://www.seismicportal.eu/realtime.html) - Seismic Portal 提供用于获取实时地震事件的 websocket 接口。 - [Open Weather API](https://openweathermap.org/api) - 提供免费可用的当前天气数据，频率约为每 ~90 秒 1 次请求（每天仅前 1000 次 API 调用免费）。 - [Clima Cell](https://docs.tomorrow.io/reference/realtime-weather) - 通过免费或付费 API 提供实时天气数据。 - [NOAA 浮标数据](https://www.ndbc.noaa.gov/data/realtime2/) - 来自 NOAA 的实时浮标数据 - [NOAA 天气数据](https://www.weather.gov/documentation/services-web-api) - 来自 NOAA 的实时天气数据 API - [Redfin 房地产](https://github.com/ryansherby/RedfinScraper) - 通过非官方 API 拉取 Redfin 的最新数据。 - [EPA Airnow 数据](https://docs.airnowapi.org/) - 由 EPA 托管的空气质量数据。 - [英国洪水数据](https://environment.data.gov.uk/flood-monitoring/doc/reference) - 英国政府提供的实时洪水数据 API。 - [ZipCheckup](https://zipcheckup.com/api) - 提供全美邮政编码级别环境安全数据的免费 REST API：水质、空气质量、PFAS 污染、氡、铅、洪水风险等 11 个垂直领域。覆盖 42,000+ 个邮政编码。无需 API key。CC BY 4.0。 - [美国能源电网数据](https://www.gridstatus.io/datasets) - 美国能源电网的实时信息 - [USGS 地震实时 Feed](https://earthquake.usgs.gov/fdsnws/event/1/) - 实时地震数据流，让你在发生地震时即时了解情况 - [News API](https://newsapi.org) - 通过 API 准实时地从全球数十家新闻媒体聚合头条新闻和文章。提供免费层级（有速率限制） - [纽约时报新闻专线 API](https://developer.nytimes.com/docs/timeswire-product/1/overview) - Times Newswire API 提供发布在 NYTimes.com 上的最新文章流。 - [GDELT 2.0 事件数据库](https://blog.gdeltproject.org/gdelt-2-0-our-global-world-in-realtime/) - 收集发生在世界各地的所有事件，包含情感效价评估和实时翻译。 ### 健康 - [长寿世界杯](https://longevityworldcup.com/api/data/athletes) - 实时的公开生理年龄竞赛数据集，包含运动员档案、生物标志物记录、证据链接、排名和众包年龄字段。通过 HTTP 免费提供 JSON 数据；无需 API key。 ### IoT - [ThingSpeak IoT 公共频道](https://thingspeak.com/channels/public) - 用户众包的 IoT 频道，实时发布各种 IoT 传感器数据。可通过 REST API 或 MQTT API 访问。 - [Sensor.Community](https://sensor.community/en/) - 全球 15,000+ 个空气质量传感器，REST API。 ### 网络安全 - [Certstream](https://certstream.calidog.io) - Certstream 提供公开访问的证书透明度日志实时流，在发生时提供 SSL/TLS 证书颁发的实时更新。 - [URLhaus](https://urlhaus.abuse.ch/api/) - 社区驱动的实时恶意 URL 数据存储库，提供可操作的威胁情报以阻止网络钓鱼和恶意软件。 - [CISA 自动指标共享](https://www.cisa.gov/topics/cyber-threats-and-advisories/information-sharing/automated-indicator-sharing-ais) - 由美国政府主导的服务，使公共和私人组织能够实时交换机器可读的威胁指标。 - [Open Threat Exchange (OTX)](https://otx.alienvault.com/api) - 社区驱动的威胁情报平台，通过 OTX DirectConnect API 流式传输有关恶意 IP、域名和 URL 的实时数据。 - [Shodan Streaming API](https://developer.shodan.io/api/stream) - 互联网上发现的设备/banner 实时流。提供免费层级。 - [GreyNoise Community API](https://docs.greynoise.io/reference/community-api) - 免费的 IP 情报查询，用于识别大规模扫描器和互联网上的背景噪音。 ### 开发与测试 - [Lenses Datagen](https://github.com/lensesio/datagen) - 由 Lenses.io 开发的开源 (Apache 2.0) 合成流数据生成器。可发布到 Kafka、Pulsar 或任何目标系统。内置丰富的数据集，包括海船位置报告 (AIS)、纽约市出租车行程、意大利电信网络数据、IoT 设备温度读数等。 - [Mockingbird by Tinybird](https://github.com/tinybirdco/mockingbird) - 开源的模拟流数据生成器。与已列出的 EventSim 搭配使用效果很好。 - [SSE.dev](https://sse.dev/test) - 具有可配置间隔的公共 SSE 测试端点。适用于流处理 pipeline 测试。 - `https://sse.dev/test?interval=5000` ### AI/ML - [AI Detector Arena](https://aidetectarena.com) - 用于评估 AI 生成图像检测器的实时排行榜和基准数据集。实时排名会随着新检测器针对 17 个 AI 生成器的 2,038 张图像进行评估而更新。可通过 HTTP API 访问数据。[[DOI]](https://doi.org/10.5281/zenodo.18620634) ### 体育 - [2026 年世界杯巡回赛](https://ay-worldcup2026.zeabur.app/developers) - 免费的 HTTP API，提供当前的 2026 年世界杯比赛日赛程、下一场比赛轮询、RSS 和日历订阅源。无需 API key。 ### 其他 - [GitHub 事件](https://github.com/fastai/ghapi) - 使用 GitHub API 消费 GitHub 上发生的公开事件。 - [EventSim](https://github.com/viirya/eventsim) - 用于模拟事件数据的工具 - [一级方程式统计与遥测](https://github.com/theOehrly/Fast-F1) - 提供易于使用的 API 以获取实时和历史 F1 数据的 Python 包。 - [国际空间站实时数据](https://iss-mimic.github.io/Mimic/) - 在 GitHub 上了解更多关于该项目的信息 https://github.com/ISS-Mimic/Mimic - [实时卫星位置](https://www.n2yo.com/api/) - N2YO.COM 允许通过 REST API 追踪卫星，使用的是由美国空间司令部分配的 NORAD 目录编号。 - [Hacker News](https://github.com/HackerNews/API) - 来自 Hacker News 的准实时新闻流，涵盖科技和创业相关话题。 - [Bluesky](https://docs.bsky.app/docs/advanced-guides/firehose) - Firehose 是底层 Bluesky 协议的事件认证流，通过 WebSocket 连接实现用户更新的高效同步。 - [SpaceX API](https://github.com/r-spacex/SpaceX-API) - 用于 SpaceX 发射、火箭、太空舱、着陆台的开源 REST API。 - [OpenF1](https://openf1.org/) - 免费的开源 API，提供实时和历史的一级方程式数据，包括遥测数据、单圈时间、赛事控制信息、天气、进站、车队无线电和排名 ## 付费 ### 金融/加密货币 - [Data B](https://databento.com/live) - Data Bento 以多种 schema 提供来自许多交易所的低延迟市场数据。可通过 Raw API（在 TCP 上使用二进制协议）和他们的 HTTP API 进行访问。他们还提供 Rust、Python 和 C++ 的客户端库。 - [IEX Trading](https://iextrading.com/developer/docs/) - IEX 的创立是为了应对在传统交易所中已被广泛使用的有争议的交易手段！他们的 API 提供流式的股票市场数据。 - [NYSE 云流](https://www.nyse.com/data-products) - 提供对高质量 NYSE 交易所数据流的实时访问，直接使用 Kafka 格式在云中进行流式传输。 - [Alpha Vantage 市场新闻与情绪](https://www.alphavantage.co/documentation/) - 来自精选新闻媒体的实时市场新闻和情绪数据，涵盖股票、加密货币、外汇以及财政政策、并购、IPO 等广泛主题。 - [Bloomberg](https://developer.bloomberg.com) - 彭博市场数据源 (B-PIPE) 实时提供整合的、规范化的市场数据。 ### 网络安全 - [卡巴斯基威胁数据源](https://support.kaspersky.com/datafeeds) - 卡巴斯基威胁数据源通过聚合来自不同来源的数据，提供持续更新的实时威胁情报。 - [Bitdefender 威胁情报源](https://www.bitdefender.com/en-us/oem/threat-intelligence-feeds-services) - 一套全面且经过精心整理的实时威胁数据流套件，提供关于恶意域名、IP 地址、URL、文件哈希和漏洞的可操作见解。 - [ANY.RUN 威胁情报源](https://any.run/cybersecurity-blog/threat-intelligence-feeds/) – 从交互式恶意软件沙箱会话生成的准实时数据源，提供对恶意软件行为和相关失陷指标 的深入分析。 - [Deepinfo 数据源](https://docs.deepinfo.com/docs/getting-started) – 通过基于 REST 的 Web 服务提供关于域名注册、子域名发现和 DNS 更改的实时更新。 ### 交通 - [AIS 数据](https://spire.com/developers/) - 通过 Spire 提供的海事、航空和天气数据。 - [FlightAware Firehose](https://www.flightaware.com/commercial/firehose/) - 全球飞机 ADS-B 位置和航班状态的实时数据流。 - [Spire 数据服务](https://documentation.spire.com) - 全球海上船舶追踪，结合了卫星自动识别系统 (AIS)、陆地 AIS 和动态 AIS。 ### 信息 - [PurpleAir 空气质量数据](https://community.purpleair.com/t/new-api-dashboard/3981) - 用于访问 Purple Air 传感器数据的开发者 API。 - [NewsAPI](https://newsapi.org/docs/get-started) - NewsAPI 准实时追踪 50 多个国家/地区、7 个类别的头条新闻，以及超过一百家顶级出版物和博客。提供带有 24 小时延迟的免费开发者版本。 - [X (Twitter)](https://developer.twitter.com/en/docs/tutorials/stream-tweets-in-real-time) - X 为研究或企业用途提供流式接口。 - [Xquik](https://github.com/Xquik-dev/x-twitter-scraper) - 提供 REST 和 MCP 访问，用于 X/Twitter 搜索、个人资料、关注者、监控、webhooks 和批量提取工作流。 - [Bing 新闻搜索 API](https://www.microsoft.com/en-us/bing/apis/bing-news-search-api) - Bing 新闻搜索 API 准实时地从各种来源返回最新新闻结果 - [路透社新闻 API](https://reutersagency.com/content-delivery-platforms/api-integrations/) - 来自路透社的低延迟新闻流 - [webz.io](https://webz.io/solutions/media-monitoring) - webz.io 提供带有数千个新闻网站、博客和讨论论坛实时信息的 API。 - [Mediastack](https://mediastack.com) - 实时提供全球新闻、头条和博客文章的 JSON API ### 体育 - [体育实时比分](https://www.thesportsdb.com/docs_pricing) - TheSportsDB 的开发者 API，让你能够获取实时比分 - [Sportradar 体育数据](https://sportradar.com/media-tech/data-content/sports-data-api/) - 80 种体育运动、500 个体育联盟和每年 750,000 场赛事的全球实时数据（提供 30 天免费试用）

标签：加密货币, 实时数据, 流数据, 金融数据