MilkMp/CIA-World-Factbooks-Archive-1990-2025

` 部分。2017 年移至字段锚点 `

` 结构。一个在 2006 年数据上有效的解析器在 2010 年数据上会产生乱码。 - **2001：** Wayback Machine 的 2001 年 HTML zip 已损坏，因此解析回退到 Project Gutenberg 纯文本版本 —— 这是 HTML 和文本流程必须交换的唯一一年。 - **字段名称漂移：** 几十年来 CIA 静默地重命名字段。“GDP - real growth rate”变成了“Real GDP growth rate”。“Telephones”拆分为“Telephones - fixed lines”和“Telephones - mobile cellular”。石油子字段被合并到“Petroleum”中。`build_field_mappings.py` 脚本通过 7 个规则层映射所有 1,132 个变体，以维护时间序列连续性。 - **特定国家的干扰：** 1990 年代的版本将政府机构名称（议会、大会、法院）作为顶级字段嵌入。已解体国家（塞尔维亚和黑山、荷属安的列斯）出现又消失。北塞浦路斯、马来西亚州和荷属安的列斯岛屿作为需要特殊处理的子条目出现。 完整技术细节请参阅 [docs/METHODOLOGY.md](docs/METHODOLOGY.md) 和 [docs/ETL_PIPELINE.md](docs/ETL_PIPELINE.md)。 ## 如何还原 ### 前置条件 - SQL Server 2017+（或 Azure SQL） - [ODBC Driver 18 for SQL Server](https://learn.microsoft.com/en-us/sql/connect/odbc/download-odbc-driver-for-sql-server) - Python 3.8+ 并安装 `pyodbc`（用于 ETL 脚本和 CLI 搜索工具） ### 步骤 1. **创建数据库：** CREATE DATABASE CIA_WorldFactbook; 2. **运行架构脚本：** sqlcmd -S localhost -d CIA_WorldFactbook -i schema/create_tables.sql 3. **导入数据（按顺序）：** sqlcmd -S localhost -d CIA_WorldFactbook -i data/master_countries.sql sqlcmd -S localhost -d CIA_WorldFactbook -i data/countries.sql sqlcmd -S localhost -d CIA_WorldFactbook -i data/categories.sql sqlcmd -S localhost -d CIA_WorldFactbook -i data/field_mappings.sql 4. **导入字段数据（解压并导入每一年）：** cd data/fields # 在 Linux/macOS 上： for f in *.sql.gz; do gunzip -k "$f" && sqlcmd -S localhost -d CIA_WorldFactbook -i "${f%.gz}"; done # 在 Windows (PowerShell) 上： Get-ChildItem *.sql.gz | ForEach-Object { $sql = $_.FullName -replace '\.gz$','' [System.IO.Compression.GZipStream]::new( [System.IO.File]::OpenRead($_.FullName), [System.IO.Compression.CompressionMode]::Decompress ).CopyTo([System.IO.File]::Create($sql)) sqlcmd -S localhost -d CIA_WorldFactbook -i $sql } 5. **验证：** SELECT COUNT(*) FROM CountryFields; -- 应返回 1,071,603 ### 结构化字段值数据库（新） `CountryFields.Content` 中的原始文本已使用 55 个专用解析器分解为 **2,599 个不同子字段** 中的 **1,775,588 个类型化子值**。每行包含一个 `SourceFragment`，显示生成该值的精确文本切片，以及一个 `IsComputed` 标志，用于区分直接从源文本提取的值（`0`）和通过计算派生的值（`1`，例如针对 1995 年之前的数据计算男性/女性预期寿命的平均值）。Content 中的子字段边界使用管道（`|`）分隔符以便明确解析。这使得无需针对每个查询使用正则表达式即可进行 SQL 查询 —— 例如，按陆地与水域比例对国家进行排名、比较男性与女性预期寿命，或绘制预算赤字趋势图。 **下载：** [factbook.db (~656 MB) 来自 Release v3.4](https://github.com/MilkMp/CIA-World-Factbooks-Archive-1990-2025/releases/tag/v3.4) —— 单个自包含数据库，包含所有表、FTS5 搜索索引和 ISO 国家代码。 **实时仪表板：** [worldfactbookarchive.org/analysis/structured-data](https://worldfactbookarchive.org/analysis/structured-data) —— 显示带有 SQL 和源数据选项卡的新查询的交互式图表。 数据库是自包含的，其中包含所有参考表。示例查询： ``` -- Top 10 countries by land area (2025) with land/water split SELECT c.Name, MAX(CASE WHEN fv.SubField = 'land' THEN fv.NumericVal END) AS land_sqkm, MAX(CASE WHEN fv.SubField = 'water' THEN fv.NumericVal END) AS water_sqkm FROM FieldValues fv JOIN CountryFields cf ON fv.FieldID = cf.FieldID JOIN Countries c ON cf.CountryID = c.CountryID JOIN FieldNameMappings fnm ON cf.FieldName = fnm.OriginalName WHERE c.Year = 2025 AND fnm.CanonicalName = 'Area' GROUP BY c.Name ORDER BY land_sqkm DESC LIMIT 10; ``` 完整架构、解析器注册表和子字段目录请参阅 [etl/structured_parsing/DESIGN.md](etl/structured_parsing/DESIGN.md)。 ### StarDict 词典（适用于 KOReader / GoldenDict） StarDict 格式的离线词典，可与 [KOReader](https://koreader.rocks/)、[GoldenDict](http://goldendict.org/) 和其他 StarDict 兼容应用一起使用。按名称、ISO 代码或 FIPS 代码查找任何国家，并获取完整的 Factbook 条目。 **每年两个版本：** - **常规版** —— 按类别分组的完整字段文本（地理、人口、经济等） - **结构化版** —— 从 FieldValues 表中解析的带有单位的数值子值 共计 **72 部词典**：36 年（1990-2025）x 2 个版本，压缩后约 97 MB。 **生成：** ``` pip install pyglossary python-idzip python etl/stardict/build_stardict.py # all 72 python etl/stardict/build_stardict.py --years 2025 # just 2025 python etl/stardict/build_stardict.py --editions general # general only ``` 输出至 `data/stardict/`。每部词典都是一个包含 `.ifo`、`.idx`、`.dict.dz` 和 `.syn` 文件的目录。将该目录复制到您的词典应用的数据文件夹中（例如 KOReader 的 `koreader/data/dict/`）。 格式详情、同义词解析、验证（16/16 测试）和安装指南请参阅 [etl/stardict/README.md](etl/stardict/README.md)。 ### 替代方案：SQLite（无需 SQL Server） 预构建的 SQLite 数据库（`factbook.db`，约 656 MB）可作为发布下载提供给不需要 SQL Server 的用户。该文件超过 GitHub 的 100 MB 文件大小限制，因此不包含在仓库本身中。 **下载：** [factbook.db 来自最新发布](https://github.com/MilkMp/CIA-World-Factbooks-Archive-1990-2025/releases/latest) 将下载的文件放在项目根目录的 `data/factbook.db` 处。SQLite 无需安装 —— Python 的内置 `sqlite3` 模块可以直接查询它。 | | SQL Server | SQLite | |--|-----------|--------| | **设置** | 安装 SQL Server + ODBC 驱动，运行架构 + 导入脚本 | 下载一个 `.db` 文件 | | **大小** | 约 263 MB，分布在 36 个 gzip 压缩的 SQL 文件中 | 约 656 MB 单个文件 | | **查询工具** | SSMS, sqlcmd, pyodbc | Python `sqlite3`, DB Browser, 任何 SQLite 客户端 | | **最适用于** | Power BI，企业分析，大规模连接 | 快速探索，脚本编写，轻量级应用 | | **Schema** | 相同的 5 表结构 | 相同的 5 表结构 | SQLite 数据库包含与 SQL Server 版本相同的表（包括带有 IsComputed 的 FieldValues）、相同的索引和相同的 1,071,603 个字段，外加一个 FTS5 全文搜索索引，用于快速关键字和布尔搜索。这就是 [实时 webapp](https://worldfactbookarchive.org/) 运行的平台。 **关于数值的说明：** `CountryFields` 表存储的原始文本内容与 CIA 发布的完全一致。没有预计算的 `Value` 列。webapp 上的 CSV 和 Excel 导出在下载时使用正则提取解析数值。要自行提取数值，请通过 `FieldNameMappings` 连接并应用所需字段的模式： ``` import sqlite3, re db = sqlite3.connect("factbook.db") db.row_factory = sqlite3.Row # 提取 Population 为 integer rows = db.execute(""" SELECT c.Year, mc.CanonicalName, cf.Content FROM CountryFields cf JOIN Countries c ON cf.CountryID = c.CountryID JOIN MasterCountries mc ON c.MasterCountryID = mc.MasterCountryID JOIN FieldNameMappings fm ON cf.FieldName = fm.OriginalName WHERE fm.CanonicalName = 'Population' ORDER BY mc.CanonicalName, c.Year """).fetchall() for r in rows: m = re.search(r'[\d,]{5,}', r["Content"]) value = int(m.group().replace(",", "")) if m else None if value: print(f"{r['CanonicalName']} ({r['Year']}): {value:,}") ``` 其他字段的常见提取模式： | 字段 | 模式 | 示例 | |-------|---------|---------| | 人口 | `re.search(r'[\d,]{5,}', text)` → 去除逗号，转换为 int | 331,449,281 | | 人均实际 GDP | `re.search(r'\$([\d,]+)', text)` → 去除逗号，转换为 int | $63,500 | | 出生时预期寿命 | `re.search(r'total population:\s*([\d.]+)', text)` → float | 78.5 years | | 人口增长率 | `re.search(r'(-?[\d.]+)%', text)` → float | 0.7% | | 军费开支 | `re.search(r'([\d.]+)%\s*of\s*G[DN]P', text)` → float | 3.45% of GDP | | 面积 | `re.search(r'total\s*:?\s*([\d,]+)\s*sq\s*km', text)` → 去除逗号，转换为 int | 9,833,517 sq km | | 出生/死亡率 | `re.search(r'([\d.]+)\s*(?:births\|deaths)\s*/\s*1,000', text)` → float | 11.0 births/1,000 | ## 实时 Web 应用 该档案以 FastAPI + Jinja2 Web 应用程序形式在 **[worldfactbookarchive.org](https://worldfactbookarchive.org/)** 上提供服务。主要功能： - **全文搜索**，支持国会图书馆布尔语法（AND, OR, NOT, "短语", 截断） - **图书馆** —— 整个档案集合的卡片式概览 - **浏览档案** 按年份（1990-2025）和国家（281 个实体） - **国家概况**，包含类别深入、字段时间序列和数据导出（CSV, Excel, PDF） - **文本差异** —— 任意国家的并排年份比较，带高亮更改 - **国家词典**，包含 ISO 代码、实体类型和 COCOM 区域分配 - **交互式地图库** —— 可浏览的国家地图，支持搜索和过滤 - **数据导出** —— CSV, Excel, 可打印 PDF 报告，以及完整的分析就绪数据集下载 - **情报分析仪表板**，由 Mapbox GL JS 和 Apache ECharts 驱动： - **区域仪表板** —— 带有 6 个 COCOM 区域的全球分级统计图、悬停弹出窗口、首都标记和点击缩放 - **COCOM 区域详情** —— 区域地图，带有 GDP、人口、军费开支的排名条形图 - **时间线地图** —— 跨越 36 年的动画分级统计图，支持多国时间序列和播放速度控制 - **地图比较** —— 两张同步地图，用于并排年份比较，具有共享色阶 - **通信分析** —— 互联网、移动、宽带普及率，带有数字鸿沟指标 - **全球趋势** —— 任意国家的多指标时间序列 - **全球排名** —— 任意指标的可排序国家排名，支持年份选择 - **变化检测** —— 逐年字段变化，带有趋势图和区域过滤 - **字段浏览器** —— 浏览所有 414 个规范数据字段，包含 36 年的覆盖率统计 - **高级分析浏览器** —— 相关性散点图、热力图矩阵、排名竞赛和树状图可视化 - **查询构建器** —— 跨所有指标的自定义分析查询，具有灵活的过滤器 - **贸易网络** —— 全球进口/出口关系的地理和力导向图 - **组织网络** —— 国际组织成员资格和联盟可视化 - **地缘政治图谱** —— 领土争端和基础设施地图 - **政治稳定性** —— 政体类型分级统计图、政权更迭追踪和区域同行比较 - **自然资源与经济** —— 资源生产地图、大宗商品散点图和国家概况 - **已解体国家** —— Factbook 中不再包含的历史实体，带有存档指标数据 - **结构化字段数据** —— 1,775,588 个已解析子值的交互式仪表板，带有图表/SQL/源选项卡，显示每个数字的确切提取来源 - **情报档案**，遵循 ICD 203 分析标准 - **区域威胁简报**，包含不稳定和安全指标 - **Factbook 测验** —— 4 种模式：国家识别、首都城市、大小比拼和旗帜识别 - **错误报告**，通过 GitHub Issues 集成 **技术栈：** Python 3.12, FastAPI, Jinja2, SQLite (FTS5), Mapbox GL JS v3, Apache ECharts 5, 部署于 Fly.io。 Web 应用程序源代码维护在一个单独的私有仓库中。 ## 实体类型 | 类型 | 数量 | 描述 | |------|-------|-------------| | sovereign | 192 | 独立国家 | | territory | 65 | 属地，海外领土 | | misc | 7 | 大洋，世界，欧盟 | | disputed | 6 | 科索沃，加沙地带，西岸等 | | crown_dependency | 3 | 泽西岛，根西岛，马恩岛 | | freely_associated | 3 | 马绍尔群岛，密克罗尼西亚，帕劳 | | special_admin | 2 | 香港，澳门 | | dissolved | 2 | 荷属安的列斯，塞尔维亚和黑山 | | antarctic | 1 | 南极洲 | ## 字段名称标准化 在 36 年的时间跨度内，CIA 重命名了许多字段。`FieldNameMappings` 表将 1,132 个原始字段名称变体映射到 416 个规范名称（区分大小写，因此 `Natural hazards` 和 `natural hazards` 获得单独的行）： | 映射类型 | 数量 | 描述 | |-------------|-------|-------------| | identity | 184 | 现代字段名称（未更改） | | rename | 159 | CIA 重命名的字段（例如 "GDP - real growth rate" -> "Real GDP growth rate"） | | dash_format | 64 | 格式差异（单短横线 vs 双短横线） | | consolidation | 48 | 子字段合并到父字段中（例如 Oil production/consumption -> Petroleum） | | country_specific | 354 | 区域子条目，政府机构名称 | | noise | 281 | 解析器伪影，片段（标记为 IsNoise=1） | ## 示例查询 有关 18 个现成的分析查询，请参阅 [queries/sample_queries.sql](queries/sample_queries.sql)，包括： - 人口时间序列（单个国家） - G7 国家 GDP 比较 - 军费开支趋势 - 互联网用户增长 - 随时间出现/消失的国家 - 合并后的石油子字段视图 ## 截图 ### 搜索与浏览 | | | |---|---| |  |  | | **首页** —— 数据库统计、导航和实时搜索 | **关于** —— 项目使命、架构和方法论 | |  |  | | **全文搜索** —— 跨 1,071,603 个字段的关键字搜索 | **布尔搜索** —— 带有短语匹配的 AND/OR/NOT 运算符 | ### 档案 | | | |---|---| |  |  | | **图书馆** —— 整个档案集合的卡片式概览 | **浏览档案** —— 导航 36 年间的 281 个实体 | |  |  | | **国家概况** —— 按类别划分的完整 factbook 数据 | **字段时间序列** —— 使用 Apache ECharts 跟踪 36 年间的任何字段 | |  |  | | **数据导出** —— CSV, Excel 和可打印 PDF 报告 | **国家词典** —— 所有 281 个实体及其类型、区域和 ISO 代码 | |  |  | | **文本差异** —— 并排年份比较，带高亮更改 | **Factbook 测验** —— 4 种游戏模式来测试您的世界知识 | ### 情报分析 | | | |---|---| |  |  | | **分析概览** —— 可用的仪表板和分析产品 | **区域仪表板** —— Mapbox GL JS 分级统计图，带悬停弹出窗口、首都标记和 COCOM 深入 | |  |  | | **COCOM 区域详情** —— 带有国家级 KPI 的 Mapbox 区域地图 | **比较国家** —— 任意两个国家的并排比较 | |  |  | | **时间线地图** —— 1990-2025 年的动画 Mapbox 分级统计图，带有多国时间序列 | **地图比较** —— 两张同步的 Mapbox 地图，用于并排年份比较 | |  |  | | **通信分析** —— 带有互联网、移动、宽带指标的 Mapbox 分级统计图 | **情报档案** —— 遵循 ICD 203 标准的国家级评估 | |  |  | | **贸易网络** —— 全球贸易关系的地理和力导向图 | **查询构建器** —— 跨所有指标的自定义分析查询 | |  |  | | **全球排名** —— 任意指标的可排序国家排名 | **全球趋势** —— 跨所有版本的多指标时间序列 | |  |  | | **变化检测** —— 逐年字段变化，带有趋势图 | **字段浏览器** —— 浏览所有数据字段及覆盖率统计 | |  |  | | **区域威胁简报** —— COCOM 级别的不稳定和安全指标 | **已解体国家** —— Factbook 中不再包含的历史实体 | |  | | | **组织网络** —— 国际组织成员资格和联盟 | | ## 许可证 CIA World Factbook 是美国政府的工作成果，属于**公共领域**（17 U.S.C. § 105）。本档案根据 [CC0 1.0 Universal (Public Domain Dedication)](LICENSE) 发布。 ## 关于 CIA World Factbook 最初于 1962 年作为机密文件出版，并从 1971 年开始向公众开放。在线版于 1990 年代推出，每周更新，直至 2026 年 2 月 4 日停刊。 建立此档案是为了作为一个保存项目，确保这一独特的纵向数据集对研究人员、分析人员和公众保持可访问性。

标签：BSD, CIA World Factbook, DFIR, ESC4, ETL, JavaCC, OSINT, Python, SQL, SQLite, Wayback Machine, 世界概况, 人口统计, 代码示例, 信息检索, 全文检索, 公共数据, 历史数据, 反汇编, 国家信息, 地缘政治, 幻觉缓解, 数据分析, 数据归档, 数据挖掘, 无后门, 系统审计, 经济数据, 逆向工具