大数据服务性能指标项

表1 大数据服务性能指标项

指标项

指标定义

指标意义

集群

平均CPU利用率(%)

在一个统计周期内CPU的占用情况,默认10s为一个统计周期。

反映CPU繁忙程度。

平均内存利用率(%)

在一个统计周期内内存的占用情况,默认10s为一个统计周期。

反映内存的繁忙程度。

最大CPU利用率(%)a

一个统计对象在一个采样周期内的最大CPU利用率。

反映所有节点CPU利用率的最大值。

业务网口总发送带宽(KB/s)ab

在一个采样周期内集群所有端口发送的数据量

反映周期内集群发送的数据量。

业务网口总接收带宽(KB/s)ab

在一个采样周期内集群所有端口接收的数据量

反映周期内集群接收的数据量。

FTP上传带宽(KB/s)

一个模块平均每秒处理FTP的上传请求的数据量。

反映每秒FTP上传的数据量

FTP下载带宽(KB/s)

一个模块平均每秒处理FTP的下载请求的数据量

反映每秒FTP下载的数据量。

读带宽(KB/s)b

一个模块平均每秒处理的读请求的数据量

反映每秒读取的数据量

写带宽(KB/s)b

一个模块平均每秒处理的写请求的数据量

反映每秒写入的数据量

带宽(KB/s)b

一个模块平均每秒I/O的数据量

反映每秒I/O的数据量

读IOPS(IO/s)b

一个模块平均每秒处理的读请求个数。

反映每秒接收到的读I/O个数

写IOPS(IO/s)b

一个模块平均每秒处理的写请求个数

反映每秒接收到的写I/O个数。

总IOPS(IO/s)b

一个模块平均每秒I/O的请求个数

反映每秒接收到的I/O个数

HDFS并发数(个)b

一个统计对象上HDFS的并发个数

反映集群或节点的HDFS并发数

HDFS协议读操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议读操作的平均时延

反映节点处理HDFS协议读请求所需的平均时间。

HDFS协议写操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议写操作的平均时延

反映节点处理HDFS协议写请求所需的平均时间。

HDFS协议操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议读和写操作的最大时延

反映节点处理HDFS协议读和写请求所需的平均时间。

节点

平均CPU利用率(%)

在一个统计周期内CPU的占用情况,默认10s为一个统计周期。

反映CPU繁忙程度。

平均内存利用率(%)

在一个统计周期内内存的占用情况,默认10s为一个统计周期。

反映内存的繁忙程度。

FTP连接数(个)

一个统计对象与FTP客户端的连接数

反映节点与FTP客户端建立的连接数

FTP上传带宽(KB/s)

一个模块平均每秒处理FTP的上传请求的数据量。

反映每秒FTP上传的数据量

FTP下载带宽(KB/s)

一个模块平均每秒处理FTP的下载请求的数据量

反映每秒FTP下载的数据量

读带宽(KB/s)b

一个模块平均每秒处理的读请求的数据量

反映每秒读取的数据量

写带宽(KB/s)b

一个模块平均每秒处理的写请求的数据量

反映每秒写入的数据量

带宽(KB/s)b

一个模块平均每秒I/O的数据量

反映每秒I/O的数据量

读IOPS(IO/s)b

一个模块平均每秒处理的读请求个数。

反映每秒接收到的读I/O个数

写IOPS(IO/s)b

一个模块平均每秒处理的写请求个数

反映每秒接收到的写I/O个数

总IOPS(IO/s)b

一个模块平均每秒I/O的请求个数

反映每秒接收到的I/O个数。

HDFS并发数(个)b

一个统计对象上HDFS的并发个数

反映集群或节点的HDFS并发数

HDFS协议读操作最大时延(us)

一个统计对象在一个采样周期内HDFS协议读操作的最大时延。

反映节点处理HDFS协议读请求所需的最大时间。

HDFS协议读操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议读操作的平均时延。

反映节点处理HDFS协议读请求所需的平均时间。

HDFS协议写操作最大时延(us)

一个统计对象在一个采样周期内HDFS协议写操作的最大时延。

反映节点处理HDFS协议写请求所需的最大时间。

HDFS协议写操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议写操作的平均时延。

反映节点处理HDFS协议写请求所需的平均时间。

HDFS协议操作最大时延(us)

一个统计对象在一个采样周期内HDFS协议读和写操作的最大时延。

反映节点处理HDFS协议读和写请求所需的最大时间

HDFS协议操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议读和写操作的最大时延。

反映节点处理HDFS协议读和写请求所需的平均时间。

命名空间

容量(GB)

对象服务使用容量

反映对象服务已使用的容量

对象/文件数

对象服务的对象/文件总数量

反映对象服务对象/文件数量

FTP上传带宽(KB/s)

一个模块平均每秒处理FTP的上传请求的数据量。

反映每秒FTP上传的数据量。

FTP下载带宽(KB/s)

一个模块平均每秒处理FTP的下载请求的数据量。

反映每秒FTP下载的数据量。

带宽(KB/s)

一个模块平均每秒I/O的数据量。

反映每秒I/O的数据量。

读带宽(KB/s)

一个模块平均每秒处理的读请求的数据量。

反映每秒读取的数据量。

写带宽(KB/s)

一个模块平均每秒处理的写请求的数据量。

反映每秒写入的数据量。

读IOPS(IO/s)

一个模块平均每秒处理的读请求个数。

反映每秒接收到的读I/O个数。

写IOPS(IO/s)

一个模块平均每秒处理的写请求个数。

反映每秒接收到的写I/O个数。

总IOPS(IO/s)

一个模块平均每秒I/O的请求个数。

反映每秒接收到的I/O个数。

HDFS读最大时延(us)

一个统计对象在一个采样周期内HDFS协议读操作的最大时延。

反映节点处理HDFS协议读请求所需的最大时间。

HDFS读平均时延(us)

一个统计对象在一个采样周期内HDFS协议读操作的平均时延。

反映节点处理HDFS协议读请求所需的平均时间。

HDFS写最大时延(us)

一个统计对象在一个采样周期内HDFS协议写操作的最大时延。

反映节点处理HDFS协议写请求所需的最大时间

HDFS写平均时延(us)

一个统计对象在一个采样周期内HDFS协议写操作的平均时延。

反映节点处理HDFS协议写请求所需的平均时间。

HDFS操作最大时延(us)

一个统计对象在一个采样周期内HDFS协议读和写操作的最大时延。

反映节点处理HDFS协议读和写请求所需的最大时间。

HDFS操作平均时延(us)

一个统计对象在一个采样周期内HDFS协议读和写操作的最大时延。

反映节点处理HDFS协议读和写请求所需的平均时间。

读I/O平均大小(KB)

从上一次采样时间点到目前为止,读I/O平均大小。

反映读I/O的大小变化。

写I/O平均大小(KB)

从上一次采样时间点到目前为止,写I/O平均大小。

反映写I/O的大小变化。

帐户

容量(GB)

对象服务使用容量

反映对象服务已使用的容量

对象/文件数

对象服务的对象/文件总数量

反映对象服务对象/文件数量

对象数据流动性能

读带宽(KB/s)

一个模块平均每秒处理的数据取回请求的数据量。

反映每秒从异构设备取回的数据量。

写带宽(KB/s)

一个模块平均每秒处理的数据迁移请求的数据量

反映每秒迁移到异构设备的数据量。

带宽(KB/s)

一个模块平均每秒I/O的数据量

反映每秒I/O的数据量

读IOPS(IO/s)

一个模块平均每秒处理的数据取回请求个数。

反映每秒从异构设备取回的I/O个数。

写IOPS(IO/s)

一个模块平均每秒处理的数据迁移请求个数

反映每秒迁移到异构设备的I/O个数。

总IOPS(IO/s)

一个模块平均每秒I/O的请求个数

反映每秒I/O的个数。

异构设备NAS迁移

迁移带宽(KB/s)

一个迁移任务所有节点平均每秒I/O的数据量。

反映每个迁移任务每秒I/O的数据量。

远程复制Pair

同步持续时间(s)a

统计周期内同步持续时间。

反映异步远程复制同步持续时间的分布情况。

距上次同步的时间间隔(s)ab

当前系统时间距离上一次远程复制开始时间的时间间隔。

反映当前系统时间距离上一次远程复制开始时间的时间间隔。

逻辑带宽(KB/s)a

一个模块压缩前平均每秒I/O的数据量。

反映压缩前每秒I/O的数据量。

从端数据落后主端时间(s)ab

统计周期内异步远程复制从端数据落后主端的时间。

反映异步远程复制从端数据落后主端的时间的分布情况。

存储池

容量利用率(%)a

存储池已用容量的百分比。

反映存储池已经使用的容量比例。

硬盘

读带宽(KB/s)b

一个模块平均每秒处理的读请求的数据量。

反映每秒读取的数据量。

写带宽(KB/s)b

一个模块平均每秒处理的写请求的数据量。

反映每秒写入的数据量。

总带宽(KB/s)b

一个模块平均每秒I/O的数据量。

反映每秒I/O的数据量。

读IOPS(IO/s)b

一个模块平均每秒处理的读请求个数。

反映每秒接收到的读I/O个数。

写IOPS(IO/s)b

一个模块平均每秒处理的写请求个数。

反映每秒接收到的写I/O个数。

IOPS(IO/s)b

一个模块平均每秒I/O的请求个数。

反映每秒接收到的I/O个数。

平均操作时延(ms)b

一个统计对象在一个采样周期内读和写操作的平均时延

反映IO需要的时间

平均写操作时延(ms)b

一个统计对象在一个采样周期内写操作的平均时延

反映写IO需要的时间

平均读操作时延(ms)b

一个统计对象在一个采样周期内读操作的平均时延

反映读IO需要的时间。

平均操作时延(us)

一个统计对象在一个采样周期内读和写操作的平均时延

说明:

平均操作时延(us)”相比于“平均操作时延(ms)”,精确度更高,监测到的性能数据更准确完整。

反映IO需要的时间

平均写操作时延(us)

一个统计对象在一个采样周期内写操作的平均时延

说明:

平均写操作时延(us)”相比于“平均写操作时延(ms)”,精确度更高,监测到的性能数据更准确完整。

反映写IO需要的时间

平均读操作时延(us)

一个统计对象在一个采样周期内读操作的平均时延

说明:

平均读操作时延(us)”相比于“平均读操作时延(ms)”,精确度更高,监测到的性能数据更准确完整。

反映读IO需要的时间

利用率(%)b

周期内处理请求的时间加上排队时间占统计周期时间的比例

反映指定对象的繁忙程度

读I/O平均大小(KB)

从上一次采样时间点到目前为止,读I/O平均大小

反映读I/O的大小变化

写I/O平均大小(KB)

从上一次采样时间点到目前为止,写I/O平均大小

反映写I/O的大小变化

物理端口

读带宽(KB/s)b

一个模块平均每秒处理的读请求的数据量。

反映每秒读取的数据量。

写带宽(KB/s)b

一个模块平均每秒处理的写请求的数据量。

反映每秒写入的数据量。

带宽(KB/s)b

一个模块平均每秒I/O的数据量。

反映每秒I/O的数据量。

读IOPS(IO/s)

一个模块平均每秒处理的读请求个数。

反映每秒接收到的读I/O个数。

写IOPS(IO/s)

一个模块平均每秒处理的写请求个数。

反映每秒接收到的写I/O个数。

IOPS(IO/s)

一个模块平均每秒I/O的请求个数。

反映每秒接收到的I/O个数。

利用率(%)b

周期内处理请求的时间加上排队时间占统计周期时间的比例

反映指定对象的繁忙程度

复制链路

IOPS(IO/s)a

一个模块平均每秒I/O的请求个数。

反映每秒接收到的I/O个数。

复制发送带宽(KB/s)a

平均每秒从当前设备发送到远端设备的I/O数据量

反映每秒发送的I/O数据量

复制接收带宽(KB/s)a

平均每秒接收到的从远端设备发到当前设备的I/O数据量。

反映每秒接收的I/O数据量

平均I/O响应时间(ns)a

在一个统计周期内处理一个请求的时间,包括等待时间

反映处理I/O请求的快慢。队列长度越长,越多的请求处于等待状态,因此一个请求的平均响应时间会增加。对于一个特定的负载,队列长度和响应时间成正比。

最大I/O响应时间(ns)a

性能统计开始后,所有统计周期的平均I/O响应时间的最大值,平均I/O响应时间指一个统计周期内处理一个读写请求的时间,包括等待时间。默认5s为一个统计周期。

反映性能统计开始后系统响应读写请求的最大时间

a:表示该性能指标项不支持Grafana服务。

b:表示该性能指标项支持配置监控阈值,具体操作参见管理监控阈值