MySQL 8.0 引入了许多重要的新特性和改进，显著提升了性能、安全性、开发效率和现代化特性支持。以下是 MySQL 8.0 的主要新特性，结合官方文档和相关信息，面向高阶开发者提供深入解读，并与索引优化场景关联。

---

一、MySQL 8.0 新特性概览

1. 数据字典改进

• 特性：MySQL 8.0 引入了事务性数据字典，取代了原有的文件式元数据存储（如 .frm 文件）。所有元数据存储在 InnoDB 表中，支持原子 DDL 操作。

• 底层原理：数据字典表存储在 mysql 系统数据库中，统一了服务器层和 InnoDB 层的元数据，消除了之前可能导致不一致的双字典问题。

• 源码分析：sql/dd/ 目录下的代码（如 dd_table.cc）实现了数据字典的管理，sql/sql_ddl.cc 处理原子 DDL 事务。

• 优化场景：原子 DDL（如 CREATE TABLE）确保元数据更新和表操作一致，提升索引创建/删除的可靠性。开发者可利用 INFORMATION_SCHEMA 查询元数据，优化索引设计。

• 示例：CREATE TABLE IF NOT EXISTS t1 (id INT PRIMARY KEY) ENGINE=InnoDB; 是一个原子操作，失败时不会留下部分元数据。

2. 索引相关改进

• 降序索引（Descending Indexes）：

  • 特性：支持显式创建降序索引，优化 ORDER BY DESC 查询。

  • 原理：B+树索引支持逆序存储，减少排序开销。

  • 源码：storage/innobase/btr/btr0cur.cc 中的 btr_cur_search_to_nth_level 调整了降序索引的查找逻辑。

  • 优化场景：查询如 SELECT * FROM t1 ORDER BY col1 DESC LIMIT 10 可直接利用降序索引 CREATE INDEX idx_col1_desc ON t1(col1 DESC)，避免额外排序。

• 不可见索引（Invisible Indexes）：

  • 特性：支持将索引标记为不可见，优化器忽略该索引，适合测试索引移除的影响。

  • 源码：sql/sql_optimizer.cc 中的 make_join_statistics 跳过不可见索引的代价估算。

  • 优化场景：在生产环境中，标记索引为不可见（如 ALTER TABLE t1 ALTER INDEX idx_name INVISIBLE），观察查询性能后再决定是否删除，降低风险。

• 函数索引（Functional Indexes）：

  • 特性：支持基于表达式的索引，如 CREATE INDEX idx_upper_name ON t1((UPPER(name)))。

  • 原理：索引存储计算后的值，查询时直接匹配。

  • 源码：sql/item_func.cc 处理函数表达式，storage/innobase/handler/ha_innodb.cc 实现函数索引的存储。

  • 优化场景：解决索引失效问题，如 WHERE UPPER(name) = 'TOM' 可直接命中函数索引，避免全表扫描。

3. 窗口函数（Window Functions）

• 特性：支持 RANK()、ROW_NUMBER()、SUM() OVER() 等窗口函数，简化复杂分析查询。

• 原理：窗口函数在查询执行计划中通过 Window 节点处理，数据按分区和排序规则计算。

• 源码：sql/window.cc 实现窗口函数逻辑，sql/sql_select.cc 集成到执行计划。

• 优化场景：窗口函数可减少子查询或临时表的使用，结合覆盖索引（如 CREATE INDEX idx_col1_col2 ON t1(col1, col2)）提升性能。

• 示例：SELECT col1, RANK() OVER (PARTITION BY col2 ORDER BY col3) FROM t1; 可直接利用 idx_col2_col3(col2, col3)。

4. 通用表表达式（Common Table Expressions, CTEs）

• 特性：支持非递归和递归 CTE，替代派生表，提升查询可读性和复用性。

• 原理：CTE 在解析阶段生成临时结果集，递归 CTE 通过迭代执行扩展结果。

• 源码：sql/sql_cte.cc 处理 CTE 解析和执行。

• 优化场景：递归 CTE（如层次查询）可结合索引优化，如 WITH RECURSIVE cte AS (...) SELECT * FROM cte JOIN t1 ON cte.id = t1.id; 需确保 t1.id 有索引。

• 示例：WITH cte AS (SELECT id, name FROM t1 WHERE age > 30) SELECT * FROM cte WHERE name = 'Tom'; 可利用 idx_age_name(age, name)。

5. JSON 增强

• 特性：新增 JSON 表函数（如 JSON_TABLE）、路径表达式、聚合函数，支持 JSON 数据的高效查询。

• 原理：JSON 数据存储为二进制格式，路径表达式通过快速解析器处理。

• 源码：sql/json_dom.cc 和 sql/json_path.cc 实现 JSON 处理。

• 优化场景：为 JSON 字段中的常用路径创建函数索引，如 CREATE INDEX idx_json ON t1((json_extract(data, '$.key')));，解决 JSON 查询的索引失效。

• 示例：SELECT * FROM t1 WHERE JSON_EXTRACT(data, '$.key') = 'value'; 可命中函数索引。

6. InnoDB 性能和并行处理

• 并行聚簇索引读取（MySQL 8.0.14+）：

  • 特性：支持并行读取聚簇索引，提升 CHECK TABLE 和大表扫描性能。

  • 原理：通过 innodb_parallel_read_threads 控制线程数，分割索引子树并行扫描。

  • 源码：storage/innobase/row/row0sel.cc 中的 row_search_mvcc 实现并行读取。

  • 优化场景：大表全表扫描（如 SELECT COUNT(*) FROM t1）可通过设置 SET SESSION innodb_parallel_read_threads=4; 加速。

• REDO 日志优化：

  • 特性：REDO 日志写入从用户线程解耦，交给后台线程，减少锁竞争。

  • 源码：storage/innobase/log/log0log.cc 中的 log_write_up_to 实现异步写入。

  • 优化场景：高并发写场景下，索引更新（如 INSERT 或 UPDATE）性能提升，减少锁等待。

7. 安全性增强

• 默认认证插件：从 mysql_native_password 改为 caching_sha2_password，使用 SHA-256 算法，性能和安全性兼顾。

• SQL 角色：支持角色管理，简化权限分配。

• 源码：sql/auth/sql_authentication.cc 实现认证逻辑，sql/sql_role.cc 处理角色。

• 优化场景：索引操作（如 CREATE INDEX）需确保用户有适当权限，角色可简化权限管理。

8. UTF8MB4 默认字符集

• 特性：默认字符集从 latin1 改为 utf8mb4，支持 Emoji 和多语言字符。

• 源码：sql/mysqld.cc 中的 character_set_server 默认值调整。

• 优化场景：为 VARCHAR 列创建索引时，注意 utf8mb4 的存储开销，索引键长度限制为 767 字节（InnoDB）。可通过前缀索引（如 CREATE INDEX idx_name ON t1(name(10))）优化。

9. 资源组（Resource Groups）

• 特性：支持创建资源组，分配 CPU 和线程资源，优化特定工作负载。

• 源码：sql/resourcegroups/resource_group_mgr.cc 实现资源组管理。

• 优化场景：为索引重建任务（如 ALTER TABLE t1 ADD INDEX idx_col1(col1)）分配专用资源组，减少对其他查询的影响。

10. 其他重要特性

• NOWAIT 和 SKIP LOCKED：支持非阻塞锁操作，优化高并发场景。

• 直方图统计（Histogram Statistics）：MySQL 8.0.19+ 提供更高效的统计采样，优化器生成更准确的执行计划。

• GIS 增强：支持空间索引和地理函数，提升 GIS 应用性能。

• 源码：sql/lock.cc 实现锁操作，sql/histograms/histogram.cc 处理直方图。

---

二、与索引失效场景的关联优化

结合前文提到的索引失效场景，MySQL 8.0 的新特性提供了以下优化方案：

1. 隐式类型转换：使用 utf8mb4 时，确保查询条件与列字符集一致，避免类型转换导致索引失效。

2. 函数操作：利用函数索引解决 WHERE UPPER(name) = 'TOM' 的索引失效问题。

3. 低选择性索引：直方图统计（ANALYZE TABLE t1 UPDATE HISTOGRAM ON col1 WITH 100 BUCKETS;）帮助优化器更准确判断索引选择性。

4. 复合索引前导列：降序索引和不可见索引提供更灵活的索引设计，优化复合索引的使用。

5. 全表扫描：并行聚簇索引读取和 REDO 日志优化提升全表扫描和索引更新性能。

---

三、源码级深入分析（面向高阶开发者）

• 优化器改进：sql/sql_optimizer.cc 中的 optimize 函数利用直方图和降序索引生成更优执行计划。开发者可通过 optimizer_trace 分析优化器决策。

• B+树索引增强：storage/innobase/btr/btr0btr.cc 中的 btr_insert 支持降序和函数索引的插入逻辑，开发者可调试 B+树操作。

• 并行处理：storage/innobase/row/row0sel.cc 中的并行读取实现可通过 gdb 跟踪，分析线程分配和子树扫描。

---

四、注意事项与迁移建议

• 迁移检查：从 MySQL 5.7 升级到 8.0 时，注意默认字符集（utf8mb4）和认证插件的变化，测试索引和查询兼容性。

• 废弃特性：mysql_upgrade 已移除，初始化使用 mysqld --initialize。部分插件（如 sha256_password）已弃用，需更新应用。

• 性能调优：调整 innodb_parallel_read_threads、innodb_spin_wait_pause_multiplier 等变量，优化索引操作性能。

---

五、总结

MySQL 8.0 通过事务性数据字典、降序/不可见/函数索引、窗口函数、CTE、JSON 增强等特性，显著提升了性能和开发效率。对于索引失效问题，函数索引和直方图统计提供了直接解决方案，高阶开发者可通过源码分析（sql/sql_optimizer.cc、btr/btr0btr.cc）深入优化。

如需具体特性（如函数索引）的源码级分析或迁移案例，请提供更多细节，我可进一步展开！