ETL失败模式写入输出文件而非日志

开发者Morinaga分享了一个ETL管道中的教训：其Reddit爬虫连续71天返回空数组，但输出文件仍正常写入并提交至git，导致问题未被及时发现。为此，他引入了三种失败模式处理方式：在输出JSON中添加sources_ok对象，记录每个数据源的成功状态；使用errors数组记录具体错误详情（包括HTTP状态码和时间戳）；下游解释层在读取数据前检查sources_ok，若为false则忽略该源数据。这些改动使失败状态体现在产物中，而非仅存在于日志中，从而确保问题能被及时发现。