一套很专业的监控方案：HDFS监控落地背后的思考

机架分组不合理，导致HDFS无法写入。

• 发现方式：功能监控写异常偶发性告警
• 故障原因：HDFS开启机架感知，不同分组机器资源分配不合理，部分分组存储资源耗尽，在选择Datanode时，找不到可用节点
• 优化建议：合理分配各机架上的实例数量，并分组进行监控。在规模较小情况下，可用考虑关闭机架感知功能

附

HDFS监控自定义任务：

https://github.com/cloud-op/monitor

【编辑推荐】

1. Hadoop架构已凋谢吗 ？
2. Hadoop运行在Kubernetes平台实践
3. 深入理解Hadoop之HDFS架构
4. 深入浅出Hadoop YARN
5. Hadoop巨头完成合并，，成为全球第二大开源软件公司

（编辑：泰州站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!