DEV Community · Show DEV8/11 16:1759 分
真实Spark事件日志解析器构建记
I built a real Spark event-log parser instead of faking it with sample data
开发者构建了opti-pipe工具，用于比较管道配置与实际运行指标，指出资源过度或不足配置。此前Spark部分仅用模拟数据测试，现新增真实事件日志解析功能。解析器逐行读取Spark事件日志，提取任务运行时间、GC暂停、记录数、OOM检测、队列延迟及堆内存使用率。由于Spark事件日志不含CPU利用率，初版默认设为0.0导致误判集群过配，已改用哨兵值表示数据缺失。该工具现支持上传真实事件日志，并欢迎用户反馈错误建议。