dremio 的job 分析

dremio 的job 分析

dremio 实际上对于sql 查询处理都是一个job，基于了自己的一套任务调度机制，很多时候我们也是需要进行job 分析的（执行中，以及执行完成的）

job 概述

job 概述包含了job 查询类型，运行时间，开始时间，结束时间，用户以及jobid，同时还包含了数据量以及流量情况

job 详情

job 详情包含计划数据（计划时间、入队时间），执行时间以及top 操作，同时数据大小以及查询记录数，对于job result我们可以通过提供的视图获取,格式 ​​​select * from sys.job_results.""​​

job加速

job 扫描模式，使用的反射

job profile

这个是一个比较核心的东西，可以方便我们进行查询优化，以及了解dremio job 的处理包含的内容：job profile： 查询，计划可视化展示，计划，加速，错误job metrics： 线程，资源分配，节点，操作（每个视图都包含的）query： 包含了查询文件，job 状态，命令池等待时间，计划时间，资源调度时间，协调节点名称可视化计划： 从下向上查看计划： 包含了实际执行的资源消耗情况，包含了io，cpu，内存，元数据缓存，非默认操作，最终物理转换，评估的row 以及实际扫描以及join aggregate 都是比较有意义的加速： 包含了加速使用的查询，查询选择的模式异常：故障节点该节点始终是协调节点，错误消息中的服务器名称是实际受影响的节点

说明

以上是一个简单的说明，对于job profile 详细解决，后边会说明

参考资料

​​https://docs.dremio.com/software/jobs/job-overview/​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。