|
ManageEngine® Applications Manager Apache Kafka | ||
Apache Kafka是一种由LinkedIn开发的、开源的、分布式发布订阅消息系统。作为一个分布式日志服务，Kafka经常取代传统消息代理，因为它具有高吞吐量、可扩展性，可靠性和复制性等优点。
Apache Kafka快速和高扩展性的特点有利于数据的集成。Kafka可以弹性的创建或关闭一个节点，同时一个单一的节点可以实时处理来自成千上万个客户端读取/写入的流。数据流被分流到不同的分区并传输到不同的代理。尽管在高水平中显得很简单，但是Kafka在技术细节有着显著的效果。
Applications Manager旨在帮助观念里有收集Kafka指标，管理集群以及自动告警潜在的问题。Applications Manager收集Kafka性能指标如下：
资源利用信息 - 自动发现Kafka服务器、监视器内存和CPU，并且在资源消耗发生改变时获取告警。
线程和JVM使用 - 跟踪后台、峰值和活动等线程的使用。确保启动的进程不会过载服务器的内存。
代理、收集器和复制统计 - 规范活动收集器并查看不可以分区代理是否启用。监视器代理统计比如日志刷新延迟(确保刷新不会与管道冲突)和处于复制分区(复制不会像配置那么快)。
网络和主题信息 - 查明导致请求命令变慢的原因。持续监视主机网络的使用，因此降级的性能不是网络相关的。确保磁盘吞吐量不会影响性能与代理主题字节率度量。
更快的修复性能问题 - 当Apache Kafka组件出现性能问题时，发送即时的通知。及时的解决问题，而不会影响用户的体验与使用。
支持的版本：Versions 0.7.0到0.10.0.1
创建新监视器的步骤
遵循以下步骤创建一个新的监视器：
点击 新建 监视器 链接，选择 Apache Kafka。
输入监视器 名称 。
输入Kafka Broker所在服务器的主机名或IP地址。
输入JMX端口。
如果需要身份验证，输入Kafka Broker的JMX用户名和密码。否则，保留为空。
输入 轮询间隔 。
如果响应测试访问Apache Kafka服务器，则点击 测试凭证 按钮。
在选项框中选择监视器关联到的监视组(可选)。您也可以选择关联多个监视组。
点击 添加监视器 。从网络中发现并开始监视Apache Kafka。
语法
http://[Host]:[Port]/AppManager/xml/AddMonitor?apikey=[API KEY]&type=Kafka&displayname=[Displayname]&HostName=[Hostname]&Port=[Port]&UserName=[UserName]&Password=[Password]&JNDIPath=/jmxrmi
请求参数：
所涉及有关的接口的参数如下。同样的，您也可以查看 常见请求参数列表。
字段 描述
类型
您想要添加的数据库类型，值为Kafka。
名称
Kafka监视器的显示名称
主机名
Kafka服务器运行主机的主机名
端口
Kafka服务器运行主机的端口
用户名
有权限访问Apache Kafka服务器的用户名
JNDI路径 使用的JNDI路径
请求实例
http://prod-server8:9091/AppManager/xml/AddMonitor?apikey=15c64bc4cca4a3c45d0369fca1877e8a&type=Kafka&displayname=Kafka&HostName=172.20.8.62&Port=9999&UserName=&Password=&JNDIPath=/jmxrmi
进入监视器中的分类视图，点击中间件/Portal 里面的 Apache Kafka 。查看Apache Kafka监视器：
可用性，查看过去24小时或30天的可用性历史。
性能，查看过期24小时或30天的讲课状况以及事件。
列表视图执行批量管理配置。
点击监视器名称查看其详细信息：
| 参数 | 描述 |
|---|---|
内存信息 |
|
| 物理内存大小 | 全部的物理内存大小，单位兆 |
| 剩余物理内存大小 | 剩余物理内存大小，单位兆 |
| 提交虚拟内存大小 | 保证运行进程可用的虚拟内存大小，单位兆 |
| 交换空间大小 | JVM虚拟内存持有内存的大小 |
| 剩余交换空间大小 | 剩余虚拟内存大小 |
线程信息 |
|
| 后台线程数 | 目前运行的后台线程数 |
| 峰值线程数 | Java虚拟机启动或峰值重置以来活动线程的峰值数 |
| 活动线程数 | 目前处于活动状态的线程数 |
| 启动的线程总数 | Java虚拟机启动以来创建并启动的全部线程数 |
堆和非堆内存信息 |
|
| 非堆内存使用 | 目前非堆内存的使用情况 |
| 堆内存使用 | 目前堆内存的使用情况 |
在Kafka集群中，其中一个代理服务作为收集器，负责管理分区和副本以及执行管理员任务比如重新分配分区。
| 参数 | 描述 |
|---|---|
Kafka收集器信息 |
|
| 活跃收集器计数 | 集群中活跃收集器的数量 |
| 离线分区数 | 不可以分区的数量 |
| 主导选择率 | 主导选择率。(当一个分区主导死亡，触发选取一个新的主导) |
| 未清理主导选择率 | 未清理主导选择率。(未清理主导选择是由于无法在Kafka代理中找到合适的分区主导。当一个分区主导代理离线，ISR设置会在分区中选择一个新的代理。未清理主导是一个特殊的情况，没有可同步复制的副本) |
| 参数 | 描述 |
|---|---|
日志信息 |
|
| 日志刷新率 | 异步磁盘日志刷新速率。 |
代理主题指标 |
|
| 流入字节/分钟 | 每分钟传入的字节速率(写入代理主题的数据总量) |
| 流出字节/分钟 | 每分钟传出的字节速率 |
| 拒绝的字节/分钟 | 每分钟被代理拒绝的数据 |
| 失败的获取请求/分钟 | 从消费者读取请求但代理未能处理的数据 |
| 失败的生产请求/分钟 | 生产者请求失败的数量 |
| 流入消息/分钟 | 流入Kafka代理的消息 |
复制管理 |
|
| Isr扩展/分钟 | "in-sync"复制扩展的数量。(如果代理进程关闭，ISR某些分区将会收缩。当代理进程再次启动之后，ISR将会再次复制扩展) |
| Isr收缩/分钟 | "in-sync"收缩扩展的数量。(如果代理进程关闭，ISR某些分区将会收缩。当代理进程再次启动之后，ISR将会再次复制扩展) |
| 主导数 | 特定主机主导的分区数 |
| 分区数 | 集群中的分区数 |
| 处于复制的分区 | 集群中处于复制的分区数 |
| 请求处理平均闲置率 | 请求处理线程空闲的时间的平均分数。 |
| 参数 | 描述 |
|---|---|
请求进程速率 |
|
| 请求生产/分钟 | 代理中写入主题的邮件数量 |
| 请求获取消费者/分钟 | 每分钟消费者获取的主题数据总量 |
| 请求获取关注者/分钟 | 代理人的请求是关注者获取新数据的一部分 |
请求花费时间 |
|
| 生产总时间/分钟 | 处理指定请求的总时间 |
| 获取消费者总时间/分钟 | 消费者获取数据的总时间 |
| 获取关注者总时间/分钟 | 关注者获取新数据的总时间 |
网络数量速率 |
|
| 网络处理平均闲置率/分钟 | 每分钟网络处理器的平均自由容量。 |
| 参数 | 描述 |
|---|---|
主题信息 |
|
| 主题名称 | 指定主题的名称 |
| 流入字节/分钟 | 每分钟流入的字节总量(写入该代理主题的数据总数) |
| 流出字节/分钟 | 每分钟流出的字节总量 |
| 失败的获取请求/分钟 | 每分钟获取请求失败的总数 |
| 失败的生产请求/分钟 | 每分钟生产请求失败的总数 |
| 进入消息/分钟 | 每分钟进入Kafka代理的消息总数。 |
| 参数 | 描述 |
|---|---|
配置信息 |
|
| 启动类路径 | 启动类加载程序使用引导类路径搜索类文件 |
| 类路径 | 系统类加载搜索类文件的Java类路径 |
| 规范厂商 | 产品实现的规范厂商 |
| 版本 | 产品实现的版本 |
| 虚拟机名称 | Java虚拟机名称 |
| 虚拟机厂商 | Java虚拟机厂商 |
Azure Service Bus |
Exchange Server监视器 |