办公技巧达人正在直播(一文带你了解森么是数仓的监控系统TopSQL)

Topsql是一种用于监控数仓中各种作业和算子级别的资源使用情况的监控系统。它可以监控下盘信息、内存、网络、耗时、警告、基础信息等数据，并通过实时表和历史表分别展示当前系统中作业的执行情况和历史问题的分析回溯和问题定位。在DWS中，TopSQL通过打桩定期记录作业的实时信息，并将记录定期发送至CN。然后，将信息定期存储至实时表中pgxc_wlm_session_statistics中。同时，也会定时将实时表中的作业落盘到历史表中pgxc_wlm_session_info中。为了减少阻塞，此过程将记录放到无锁队列中。无锁队列提供了记录的CAS原子操作，然后定期读取无锁队列中的内容进行转储。pgxc_wlm_session_info通过start_time进行分区，每天一个分区。通过参数topsql_retention_time配置默认保留30个分区，即30天的记录。此外，还定期对pgxc_wlm_session_info的分区进行清理和创建。此过程在DWS中有单独的线程运行，对系统的影响较小。无锁队列大小是有上限的，如果转储处理的速度赶不上生成的速度，那么作业也会被丢弃。

TopSQL系统在DWS中具有以下特点和功能：

实时监控：通过实时表，管理员可以对正在运行的作业进行监控，及时发现并解决问题。管理员可以查看作业的资源使用情况、进程ID、执行时间、查询语句等信息。

历史分析：通过历史表，管理员可以对历史问题进行分析和回溯。管理员可以查看过去一段时间内的作业执行情况，包括资源使用情况、执行时间、查询语句等信息。

定制化监控：TopSQL支持定制化的监控配置。管理员可以根据自己的需求，针对不同的作业进行不同的监控配置，以达到最佳的监控效果。

告警功能：TopSQL还支持告警功能。当出现问题时，TopSQL可以通过邮件、短信等方式进行告警，提醒管理员及时处理问题。

多种查询方式：TopSQL系统支持多种查询方式，包括命令行查询、Web查询、图形化查询等，方便管理员进行操作。

总之，TopSQL是一种非常重要的监控系统，在DWS中发挥着重要的作用。通过对各个作业的资源使用情况和耗时情况进行监控，可以帮助管理员更好地管理系统，及时发现问题并进行处理。同时，TopSQL的实时表和历史表也为管理员提供了方便，让他们可以更加直观地了解系统的运行情况和历史问题。DWS中的TopSQL系统不断地进行优化和升级，以满足管理员对监控系统的更高要求。