Prometheus指标采集和查询存储方案-2020年

我们分一级监控平台和二级集群Prometheus监控采集组件。一级提供kafka集群和Prometheus聚合组件，二级各集群部署Prometheus和Prometheus-kafka-adapter组件，采集和远程送数据到一级的kafka集群。

该方案优点：

1.业务系统可以跨集群聚合数据，如图k8s集群-1和k8s集群-2数据聚合到Top-1的Prometheus上。

2.一级监控平台上只要有足够的cpu、存储资源，理论上可以水平扩展接入更多集群。2020年底采集的指标量每天3194亿的量级，吞吐量达370万/s。

3.采集端Prometheus可以保留极少数据，比如6小时的数据，减少资源消耗。而上层Prometheus由于落数据到时序数据库influxdb中，可以保存一个月数据量甚至更多。

该方案没做到什么：

1.采集端Prometheus扩容问题，单集群中数据规模受Prometheus原生的限制。

2.一级监控平台上时序数据库influxdb有单点问题，数据规模和数据安全性受其影响。 不可错过的运维监控干货！长沙运维监控

上海观纵科技有限公司是Zabbix中国认证合作伙伴，以天下没有难做的运维为愿景，致力于帮助用户使用更简单、保障更完备的运维监控，成为业务运行的坚实后盾。本着为用户创造价值的宗旨，观纵做到释放人力、集约资源的同时，提升事件处理效率、减少运维隐患。通过不断积累行业经验的匠维模型研发，实现运维自动化、智能化。从而实现故障有归因、处理有留痕，自动预测运维态势，让企业把握运维动态，降低潜在风险，解放人力、节约时间成本。湖南运维监控认真负责以 zabbix 为采集中心配合自研的 ArgusNMS 增强模块为一组采集单元， ArgusEdge 的统一调度实现监管控的需求。

大集群场景特点数据规模大：监控对象targets多，数千万时序数据time-series，单Prometheus负载非常高。

当series数据超过300万时，Prometheus内存增长较为明显，需要使用较大内存的机器来运行。压测过程中，我们使用了工具去生成预期数目的series，工具生成的series每个label的长度及值的长度都较小，固定为10个字符左右。我们的目的是观察相对负载变化，实际生产中由于label长度不同，服务发现机制（比如Pod频繁重启）的消耗不同，相同的series数目所消耗的负载会比压测中高不少。目前Argus有好几个集群的采集端Prometheus消耗内存在30G以上，这会导致查询效率下降，严重的会导致OOM，有的大集群内存消耗达几百G。

十四五规划和十九届五中全会提出：

1、加强关键数字技术创新应用 用聚焦芯片、操作系统、人工智能关键算法、传感 器等关键领域，加快推进基础理论、基础算法、装备 材料等研发突破与迭代应用。加强通用处理器、 云计算系统和软件技术一体化研发。

2、加快推动数字产业化 培育壮大人工智能、大数据、区块链、云计算、网络 安全等新兴数字产业，提升通信设备、关键电 子元器件、关键软件等产业水平。

3、科技自强 ，科技自立 坚持创新在我国现代化建设全局中的重要地位，把 科技自立自强作为国家发展的战略支撑。

Argus运维监控系统在信息技术创新应用的大背景下应运而生。 Argus基于Zabbix的IT运维监控平台。

Zabbix 是 B/S 架构，抓取数据是通过客户端抓取的，在客户端必须有服务启动，该服务负责采集数据，数据会主动上报给服务端，也可让服务端连接客户端去抓取数据。客户端分为两种模式，即主动模式和被动模式。Argus运维监平台以 Zabbix 为基础，可同时兼容 不同版本的Zabbix，以 zabbix 为采集关键配合自研的 ArgusNMS 增强模块为一组采集单元， ArgusEdge 的统一调度实现监管控的需求。单一业务环境下可以支持多 组采集单元（多zabbix-server），实现真正意义上的分布式采集。 运维小白如何做好运维监控？长沙运维监控

Argus运维监控体系全梳理！长沙运维监控

运维监控数据治理：

1、分析决策层：基于公共维度层封装具体的分析决策场景；结合低代码和看 板，形成运维BI分析平台。可由专业团队和工具团队共同建 设。实现真正的以数据驱动作业。

2、公共维度层：建立数据资产清单，加工后的元数据进行数据的生命周期管 理、数据血缘分析、完整性监控、综合指标管理。此层数据 由工具研发团队实现。

3、元 数 据 层：基于现有自动化、监控、日志、C M D B、云管、云平台等常 用系统封装插件式的数据处理工具，做到数据按需所取，标 准接入。按需索取，不做全量的数仓平台。 长沙运维监控

上海观纵科技有限公司属于传媒、广电的高新企业，技术力量雄厚。观纵科技是一家有限责任公司企业，一直“以人为本，服务于社会”的经营理念;“诚守信誉，持续发展”的质量方针。公司始终坚持客户需求优先的原则，致力于提供高质量的webfunny前端监控，webfunny前端埋点，全链路应用性能监控，Argus-IT运维监控。观纵科技顺应时代发展和市场需求，通过**技术，力图保证高规格高质量的webfunny前端监控，webfunny前端埋点，全链路应用性能监控，Argus-IT运维监控。