Gathering Metrics from Spring Boot with Prometheus and Grafana

• 使用 docker-compose 部署和配置环境
  • grafana
• 使用指南
  • Prometheus
  • 业务层
  • grafana
• 参考资料
  • 主要
  • promql 和 grafana 查询
  • 次要
  • promql 查询

使用 docker-compose 部署和配置环境

grafana

使用指南

Prometheus

数据模型

Prometheus 具有多维分析的能力，数据模型有如下几部分组成。

Metric Name(指标名称) + Labels(标签) + Timestamp(时间戳) + Value/Sample(监控值/样品)

• Metric Name(指标名称)：监控对象的含义（例如，http_request_total - 表示当前系统接收到的HTTP请求总量）。
• 标签(label)：表示当前样本的特征维度，是一个K/V结构，通过这些维度 Prometheus 可以对样本数据进行过滤，聚合等。
• 时间戳(timestamp)：一个精确到毫秒的时间戳。
• 样本值(value)：一个float64的浮点型数据表示当前样本的值。

参考资料

• DATA MODEL
• Metric/Label 命名最佳实践

业务层

如何检测/测量系统

spring boot

spring-boot-actuator 的包 org.springframework.boot.actuate.metrics

• org.springframework.boot.actuate.metrics.web.servlet.WebMvcMetricsFilter

参考资料

• Spring Boot Actuator: Production-ready Features 2.2.7.RELEASE

micrometer

io.micrometer#micrometer-core 的包 io.micrometer.core.instrument.binder

• io.micrometer.core.instrument.binder.jvm.JvmMemoryMetrics
• io.micrometer.core.instrument.binder.jvm.JvmGcMetrics

异常处理

log/2023/11/error-2023-11-06_0.log.gz:2023-11-06 22:14:13.498 [] [uof-ticket-11-1] ERROR c.i.s.t.c.s.u.RollbackBetSettlementHandler( 266) - Prometheus requires that all meters with the same name have the same set of tag keys. There is already an existing meter name d ‘ilot_sport_ticket_rollback_tickets_total’ containing tag keys [application, bet_from, currency, game_rb_ret, game_winrb_ret, payo ut_type, rbpayout, rbstake, region, stack]. The meter you are attempting to register has keys [application, region, stack]. log/2023/11/error-2023-11-06_0.log.gz:java.lang.IllegalArgumentException: Prometheus requires that all meters with the same name hav e the same set of tag keys. There is already an existing meter named ‘ilot_sport_ticket_rollback_tickets_total’ containing tag keys [application, bet_from, currency, game_rb_ret, game_winrb_ret, payout_type, rbpayout, rbstake, region, stack]. The meter you are att empting to register has keys [application, region, stack].

2023-11-09 03:59:03.093 [] [uof-ticket-13-1] ERROR c.i.s.t.c.s.u.BetSettlementHandler(251) - Prometheus requires that all meters with the same name have the same set of tag keys. There is already an existing meter named ‘ilot_sport_ticket_rollback_tickets_total’ containing tag keys [application, region, stack]. The meter you are attempting to register has keys [application, bet_from, currency, game_rb_ret, game_winrb_ret, payout_type, rbpayout, rbstake, region, stack].java.lang.IllegalArgumentException: Prometheus requires that all meters with the same name have the same set of tag keys. There is already an existing meter named ‘ilot_sport_ticket_rollback_tickets_total’ containing tag keys [application, region, stack]. The meter you are attempting to register has keys [application, bet_from, currency, game_rb_ret, game_winrb_ret, payout_type, rbpayout, rbstake, region, stack].

grafana

参考资料

主要

promql 和 grafana 查询

查询日志增量示例

时间戳 1697773320 -> 2023-10-20T03:42:00.000Z

promql

increase(logback_events_total{application="xxx-service",level="debug",stack='dev'}[1m] @ 1697773320)
# 124.8
rate(logback_events_total{application="xxx-service",level="debug",stack='dev'}[1m] @ 1697773320)
# 2.08
logback_events_total{application="xxx-service",level="debug", stack='dev'}[1m] @ 1697773320
# 16916 @1697773263.216
# 16918 @1697773273.216
# 16920 @1697773283.216
# 16930 @1697773293.216
# 16984 @1697773303.216
# 17020 @1697773313.216

官方文档描述 increase 是 rate 的封装的语法糖。所以上面的 increase 可以转换为

rate(logback_events_total{application="xxx-service",level="debug",stack='dev'}[1m] @ 1697773320) * 60s
# 124.8

Spring

• Spring Boot Actuator: Production-ready features
• Spring Boot Actuator Web API Documentation

Micrometer

• Micrometer Prometheus
• Micrometer Concepts

Prometheus

• Prometheus CONFIGURATION

Grafana

• Configure a Grafana Docker image

次要

• 自定义监控
• Monitoring Made Simple: Empowering Spring Boot Applications with Prometheus and Grafana
• Gathering Metrics from Spring Boot on Kubernetes with Prometheus and Grafana
• Prometheus监控

promql 查询

• How to calculate average over last week for the same time in prometheus?
• Prometheus: getting cumulative KwH from milliwatt samples

先决条件

• 安装有 docker，docker-compose 的 linux 服务器，这里选择 centos 7
• 安装有 linux 发行版的本机，这里选择 fedora 36

二次加工，创建自己的镜像

使用的基础镜像 fitme96/dingtalk:1.3.0.20214

docker run –name dingtalk_fitme96_temp -it fitme96/dingtalk:1.3.0.20214 bash

docker exec -it dingtalk_fitme96_temp bash

#容器中执行
apt update
apt install -y vim ssh x11-apps
# 设置 sshd
vim /etc/ssh/sshd_config 
/etc/init.d/ssh start
vim ~/.bashrc
# 退出容器

/etc/ssh/sshd_config

# Run X application in a Docker container reliably on a server connected via SSH without "--net host" https://stackoverflow.com/questions/48235040/run-x-application-in-a-docker-container-reliably-on-a-server-connected-via-ssh-w/48235281#48235281
X11Forwarding yes
X11UseLocalhost no
#AcceptEnv LANG LC_*

.bashrc

export XMODIFIERS='@im=fcitx'
export QT_IM_MODULE=fcitx
export GTK_IM_MODULE=fcitx

退出容器, 保存镜像

docker ps -a #查看容器id
docker commit 容器id
docker images
docker tag 镜像id 镜像tag

测试镜像

docker 宿主机安装 docker-compose

docker-compose.yml:

version: "3.3"
services:
  dd:
    image: ""
    environment:
      - DISPLAY=本机$DISPLAY:0
      # https://github.com/fitme96/dingtalk-image/issues/1
      - XMODIFIERS='@im=fcitx'
      - QT_IM_MODULE=fcitx
      - GTK_IM_MODULE=fcitx
    volumes:
      - /data/docker/dt_yml:/root
    ports:
      - "8023:22"
    stdin_open: true
    tty: true
    command: bash
    ulimits:
      core:
        hard: 0
        soft: 0

# 启动容器
docker-compose up
# 进入容器
docker exec -it 容器id bash

# 容器中运行
/etc/init.d/ssh start

本机执行 ssh -v -X $user@ip -p 8023 xeyes

运行 dingtalk

ssh -v -X user@ip -p 8023 "/bin/sh /opt/apps/com.alibabainc.dingtalk/files/Elevator.sh"

总结

通过 docker-compose 在远程服务器上运行钉钉(dingtalk)，然后使用 ssh X11 转发到本机，避免使用本机资源运行 dingtalk，节省内存。

直接使用官方提供的 deb 包，也避免了特定 linux 发行版无法安装 dingtalk deb 包的问题。

参考

• fitme96/dingtalk-image
• Run X application in a Docker container reliably on a server connected via SSH without “–net host”

• 新的1.4版本需要配置环境变量，使得输入法可以使用 #1

• Docker X11 Client Via SSH
• X11 forwarding of a GUI app running in docker
• Running Chromium inside Docker - Gtk: cannot open display: :0
• Inside a Docker Container: “Error: cannot open display: localhost:11.0”
• How do I fix a “cannot open display” error when opening an X program after ssh’ing with X11 forwarding enabled?

安装 UnityHub

下载最新版本 UnityHub：

https://public-cdn.cloud.unity3d.com/hub/prod/UnityHub.AppImage

国内地址：https://public-cdn.cloud.unitychina.cn/hub/prod/UnityHub.AppImage

下载完毕后，赋予执行权限

chmod +x UnityHub.AppImage

然后就可以直接执行此程序

参考 ：Install Unity3D on Linux

安装 Unity

当前在 Ubuntu 下，无法脱离 UnityHub 单独运行 Unity，需要 UnityHub 激活和管理许可证（License）后才能正常使用 Unity。

有几种安装方式可以选择

方式1：使用 UnityHub 安装

直接使用 UnityHub 安装相应版本的 Unity，这种方式安装只有有限的几个版本可以选择，如果想要安装其他版本，需要进行手动安装，然后添加到 UnityHub 中。

由于需要下载的文件巨大（几个GB），国内网络环境下可能会频繁遇到下载中断、下载速度慢的问题，可以在执行 UnityHub 时挂上代理，加快下载速度。

方式2：手动安装

也可以使用 UnitySetup 手动安装 Unity。按着官方论坛 Unity on Linux: Release Notes and Known Issues 的说明，下载最新版本的 UnitySetup-x.x.x 后，运行 UnitySetup 进行安装。下载 UnitySetup 时可能也需要挂上代理。

下载其他版本的 UnitySetup

如果论坛中没有你需要的版本，可以通过替换下载链接中的参数来下载其他版本。论坛中官方人员给出的下载地址，有一定的规律。以 2019.1.0f2 版本为例，下载地址为：

http://beta.unity3d.com/download/292b93d75a2c/UnitySetup-2019.1.0f2

国内地址：https://download.unitychina.cn/download_unity/292b93d75a2c/UnitySetup-2019.1.0f2

只需要替换链接中的 Hash 和版本号就可以下载相应的版本。

假如我们想下载 Unity 2019.3.11，根据官方下载存档列表找到相应版本，Chrome浏览器在 Unity Hub 链接（按钮）上鼠标右键审查（Firefox 鼠标右键‘检查元素’），得到版本 UnityHub 安装链接为 unityhub://2019.3.11f1/ceef2d848e70，链接中 2019.3.11f1 和 ceef2d848e70 就是我们需要的参数，替换参数后的链接为：

http://beta.unity3d.com/download/ceef2d848e70/UnitySetup-2019.3.11f1

国内地址：https://download.unitychina.cn/download_unity/ceef2d848e70/UnitySetup-2019.3.11f1

就可以下载到2019.3.11f1版本的 UnitySetup。

官方下载存档列表备份：

• 备份1：旧版本 ， 当前版本
• 备份2

解决 UnitySetup 下载问题

运行 UnitySetup 下载相关安装包时，可能会遇到中断和下载太慢的问题。UnitySetup 会顺序下载已经选定的组件，如果想对下载进行加速，可以在外部先下载好相关安装包，再运行 UnitySetup，此时会跳过下载步骤，直接开始安装 Unity。

根据 UnitySetup 启动时请求的配置文件，我们可以按上一步的方式，替换参数获得对应版本的组件配置文件，自己下载。以 2019.1.0f2 版本为例，UnitySetup 启动时会请求以下链接获取配置文件，进行后续下载和安装过程：

https://netstorage.unity3d.com/unity/292b93d75a2c/unity-2019.1.0f2-linux.ini

国内地址：https://netstorage.unitychina.cn/unity/292b93d75a2c/unity-2019.1.0f2-linux.ini

我们把其中的参数替换为 2019.3.11f1 的后，就可以得到对应版本的组件配置信息：

https://netstorage.unity3d.com/unity/ceef2d848e70/unity-2019.3.11f1-linux.ini

国内地址：https://netstorage.unitychina.cn/unity/ceef2d848e70/unity-2019.3.11f1-linux.ini

然后进行多线程下载：

# 下载配置文件
curl -L https://netstorage.unity3d.com/unity/ceef2d848e70/unity-2019.3.11f1-linux.ini -o unity-2019.3.11f1-linux.ini
# 通过代理下载配置文件
#proxychains curl -L https://netstorage.unity3d.com/unity/ceef2d848e70/unity-2019.3.11f1-linux.ini -o unity-2019.3.11f1-linux.ini
# 把 unity-2019.3.11f1-linux.ini 需要下载的组件写入下载列表文件中, 同样需要参数替换
echo '
https://netstorage.unity3d.com/unity/ceef2d848e70/LinuxEditorInstaller/Unity.tar.xz
https://netstorage.unity3d.com/unity/ceef2d848e70/MacEditorTargetInstaller/UnitySetup-Android-Support-for-Editor-2019.3.11f1.pkg
https://netstorage.unity3d.com/unity/ceef2d848e70/LinuxEditorTargetInstaller/UnitySetup-Linux-IL2CPP-Support-for-Editor-2019.3.11f1.tar.xz
https://netstorage.unity3d.com/unity/ceef2d848e70/MacEditorTargetInstaller/UnitySetup-Windows-Mono-Support-for-Editor-2019.3.11f1.pkg
https://netstorage.unity3d.com/unity/ceef2d848e70/LinuxEditorTargetInstaller/UnitySetup-WebGL-Support-for-Editor-2019.3.11f1.tar.xz
' > list.txt
# 使用 aria2c 进行多线程下载
aria2c --auto-file-renaming false -m 0 -i list.txt
# 下载完毕后，运行 UnitySetup，下载目录指向当前已经下载好的组件目录，就可以直接跳过下载进行安装了   

国内链接版本

# 下载配置文件
curl -L https://netstorage.unitychina.cn/unity/ceef2d848e70/unity-2019.3.11f1-linux.ini -o unity-2019.3.11f1-linux.ini
# 把 unity-2019.3.11f1-linux.ini 需要下载的组件写入下载列表文件中, 同样需要参数替换
echo '
https://netstorage.unitychina.cn/unity/ceef2d848e70/LinuxEditorInstaller/Unity.tar.xz
https://netstorage.unitychina.cn/unity/ceef2d848e70/MacEditorTargetInstaller/UnitySetup-Android-Support-for-Editor-2019.3.11f1.pkg
https://netstorage.unitychina.cn/unity/ceef2d848e70/LinuxEditorTargetInstaller/UnitySetup-Linux-IL2CPP-Support-for-Editor-2019.3.11f1.tar.xz
https://netstorage.unitychina.cn/unity/ceef2d848e70/MacEditorTargetInstaller/UnitySetup-Windows-Mono-Support-for-Editor-2019.3.11f1.pkg
https://netstorage.unitychina.cn/unity/ceef2d848e70/LinuxEditorTargetInstaller/UnitySetup-WebGL-Support-for-Editor-2019.3.11f1.tar.xz
' > list.txt
# 使用 aria2c 进行多线程下载
aria2c --auto-file-renaming false -m 0 -i list.txt
# 下载完毕后，运行 UnitySetup，下载目录指向当前已经下载好的组件目录，就可以直接跳过下载进行安装了   

测试安装效果

Unity 安装完毕后，运行 UnityHub，在 Learn - Project 下选择一个教学项目进行测试，这里下载了 FPS Microgame（此项目需要安装 WebGL Build Support 组件）。下载完毕后，在 UnityHub 中创建一个新的 3D 项目，然后将 FPS Microgame 导入到新项目中（可能在 /tmp/fps-microgame.unitypackage 或者 ~/.local/share/unity3d/Asset Store-5.x/Unity Technologies/Project/fps-microgame.unitypackage）。

先点击菜单栏中的 Play 按钮，测试游戏能否正常运行。可以运行后，再点击菜单栏中 File -> Build Settings 设置目标平台为 WebGL，然后构建并运行游戏，就可以在浏览器中玩游戏了。也可以切换构建平台到 PC, Mac & Linux，然后选择 Linux，构建本地应用。

新手教程

如果是刚开始学习 Unity，可以在菜单栏中 Tutorials -> Show Tutorials 打开内置教程，一步一步学习如何使用 Unity。

遇到的问题

网络，网络，网络

从 unity.com 上下载时，大部分资源的 CDN 都在国外，国内下载过程中随时可能会遇到中断或者速度慢的情况，这时最好中断下载，挂上代理再下载。也可以使用国内链接来下载。

帐号注册和登录

运行 Unity 时可能会遇到需要登录 Unity Id 的情况，这时可以挂代理在 unity.com 上申请帐号，不挂代理的话会根据 ip 分配到 unity.cn 上申请。

参考资料

• Unity on Linux: Release Notes and Known Issues
• How to install Unity3D on Ubuntu 18.04?
• Install Unity3D on Linux
• Unity download archive
• unity3d editor-installers.json - github
• unity_versions.yml - gitlab
• unity_versions.old.yml - gitlab
• https://unity.cn/releases