一文揭秘高效稳定的 Apache Doris 内存管理机制
发布网友
发布时间：2024-10-06 19:16
共1个回答
热心网友
时间：2024-10-06 20:03
在1.1.0版本开始，内存管理经历了重大改进，统一了内存数据结构，重构了MemTracker，引入了查询内存软限制和进程内存超限后的GC机制。1.2.4版本中，内存管理已经趋于成熟，内存热点和OOM导致BE宕机的问题基本解决，支持查询内存限制和Top查询定位。在Doris 2.0 alpha版本，异常安全功能被实现，进一步减轻了内存压力，同时配合Pipeline执行引擎和中间数据落盘，用户不再受内存不足的困扰。
内存管理的核心是Allocator，它负责内存的高效申请和控制，通过MemTracker跟踪内存操作。内存分配策略从早期的系统接管到现在的内存热点管理，使用Arena、HashTable和PODArray等数据结构。Arena维护内存块池，减少系统内存申请，而HashTable和PODArray则针对不同场景优化内存使用和性能。
从1.2.2版本开始，Doris切换到性能更优的Jemalloc，减少了内存管理的开销。内存复用策略在执行层广泛应用，如数据块的重复使用和内存热点的屏蔽。MemTracker的角色也进行了优化，以前的层次结构简化为两个类别，便于开发者理解和使用，同时提供了更精确的内存跟踪和统计。
在内存限制方面，Doris引入了查询和进程的内存限制，确保内存使用在可控范围内。用户可以设置查询内存上限，超过则触发Cancel。在内存不足时，系统会动态调整内存分配策略，确保关键任务的执行。
未来，Doris的目标是进一步提高内存利用效率，减少因内存不足导致的查询取消，增强异常安全和资源隔离，以及支持中间数据落盘。社区欢迎所有对此感兴趣的人参与进来，共同推动Doris的发展。
欲了解更多详情和体验2.0 Alpha版本，可访问相关链接，包括SelectDB官网和Apache Doris官网。
