Loki+Grafana+PrometheusAlert单进程部署实行日志收集到飞书的日志告警

$ yum install -y epel-release supervisor unzip

$ vim /etc/supervisord.conf
[unix_http_server]
file=/var/run/supervisor/supervisor.sock   ; (the path to the socket file)
chmod=0700                 ; sockef file mode (default 0700)
[inet_http_server]         ; inet (TCP) server disabled by default
port=*:9001        ; (ip_address:port specifier, *:port for all iface)
username=admin              ; (default is no username (open server))
password=admin             ; (default is no password (open server))
[supervisord]
logfile=/var/log/supervisor/supervisord.log  ; (main log file;default $CWD/supervisord.log)
logfile_maxbytes=50MB       ; (max main logfile bytes b4 rotation;default 50MB)
logfile_backups=10          ; (num of main logfile rotation backups;default 10)
loglevel=info               ; (log level;default info; others: debug,warn,trace)
pidfile=/var/run/supervisord.pid ; (supervisord pidfile;default supervisord.pid)
nodaemon=false              ; (start in foreground if true;default false)
minfds=1024                 ; (min. avail startup file descriptors;default 1024)
minprocs=200                ; (min. avail process descriptors;default 200)
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///var/run/supervisor/supervisor.sock ; use a unix:// URL  for a unix socket
serverurl=http://127.0.0.1:9001 ; use an http:// url to specify an inet socket
username=admin              ; should be same as http_username if set
password=admin                ; should be same as http_password if set
[include]
files = supervisord.d/*.ini

$ systemctl enable supervisord && systemctl start supervisord

# 创建目录
$ mkdir /data/loki/{data,log} -p && cd /data/loki/

# 下载loki二进制安装包，如果下载慢就科学上网下载吧
$ wget https://github.com/grafana/loki/releases/download/v2.7.0/loki-linux-amd64.zip

# 解压并重命名
$ unzip loki-linux-amd64.zip && mv loki-linux-amd64 loki

$ cat > loki-config.yaml<<EOF
auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096

common:
  path_prefix: /data/loki/data
  storage:
    filesystem:
      chunks_directory: /data/loki/data/chunks
      rules_directory: /data/loki/data/rules
  replication_factor: 1
  ring:
    instance_addr: 127.0.0.1
    kvstore:
      store: inmemory

schema_config:
  configs:
    - from: 2020-10-24
      store: boltdb-shipper
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 24h
        
ruler:
  alertmanager_url: http://localhost:9093
EOF

$ cat >/etc/supervisord.d/loki.ini<<EOF
;项目名
[program:loki]
;脚本目录
directory=/data/loki
;脚本执行命令
command=/data/loki/loki --config.file=/data/loki/loki-config.yaml

;supervisor启动的时候是否随着同时启动，默认True
autostart=true
;当程序exit的时候自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启,false是永不重启，true是自动重启
autorestart=true
; 启动失败自动重试次数，默认是3
startretries=3
;这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了。默认值为1
startsecs=1
;程序启动使用的用户身份
user = root

;stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/data/loki/log/loki.out
;把stderr重定向到stdout，默认 false
redirect_stderr = true
;stdout日志文件大小，默认 50MB
stdout_logfile_maxbytes = 20MB
;stdout日志文件备份数
stdout_logfile_backups = 10
EOF

$ supervisorctl update && supervisorctl start loki && supervisorctl status
loki                             RUNNING   pid 18598, uptime 0:00:16

# 创建目录
$ mkdir /data/promtail/{data,log} -p && cd /data/promtail/

# 下载promtail二进制安装包，如果下载慢就科学上网下载吧
$ wget https://github.com/grafana/loki/releases/download/v2.7.0/promtail-linux-amd64.zip

# 解压并重命名
$ unzip promtail-linux-amd64.zip && mv promtail-linux-amd64 promtail

# 我这里收集了两个日志，一个是系统日志（/var/log/*.log），一个是kafka的日志()
$ cat >>promtail-local-config.yaml<<EOF
server:
  # http端口，默认即可
  http_listen_port: 9080
  grpc_listen_port: 0
  # 解决大量日志报trying to send message larger than max错误问题
  grpc_server_max_concurrent_streams: 500
  grpc_server_max_recv_msg_size: 10000000
  grpc_server_max_send_msg_size: 10000000

positions:
  # 监听的日志文件已经读取的行偏移量存储文件地址
  filename: /tmp/positions.yaml

clients:
  # 这里是你的loki服务器地址
  - url: http://192.168.0.191:3100/loki/api/v1/push

# 配置要收集的日志
scrape_configs:
# 配置收集的任务名称（自定义即可，后面可以根据这个名称过滤查看日志），我这里收集的是系统日志。
- job_name: system_log
  static_configs:
  - targets:
      - localhost
    # 给这个日志收集任务打上一些标签，后面可以根据这些标签来过滤日志查看，或者来做告警。
    labels:
      job: system_log
      host: ops-test-191
      team: ops
      app: system
      # 被收集的日志路径，这里配置了/var/log/*.log,还有/var/log/cron这种指定的文件，不以.log结尾的日志文件。
      __path__: /var/log/{*.log,btmp,cron,dmesg,lastlog,messages,secure,wtmp}

# 我这里配置一个收集kafka日志的任务
- job_name: kafka_server
  static_configs:
  - targets:
      - localhost
    # 给这个任务打标签，方便查看过滤日志
    labels:
      job: kafka_server
      host: ops-test-191
      app: kafka
      team: ops
      # kafka日志文件的路径
      __path__: /data/kafka/logs/server.log
  # 这个配置解决kafka这个任务在收集日志时，某条日志出现换行后会分别收集到多行中导致日志丢失解决方法。
  pipeline_stages:
  - match:
      # 匹配哪些标签
      selector: '{job="kafka_server"}'
      stages:
        - multiline:
            # 已这个开头的才认为是新一行
            firstline: '^\['
            # 等待三秒钟非[开头的行收集到一行中，否则收集到新一行里面去
            max_wait_time: 3s
EOF

$ cat >/etc/supervisord.d/promtail.ini<<EOF
;项目名
[program:promtai]
;脚本目录
directory=/data/promtail
;脚本执行命令
command=/data/promtail/promtail --config.file=/data/promtail/promtail-local-config.yaml

;supervisor启动的时候是否随着同时启动，默认True
autostart=true
;当程序exit的时候自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启,false是永不重启，true是自动重启
autorestart=true
; 启动失败自动重试次数，默认是3
startretries=3
;这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了。默认值为1
startsecs=1
;程序启动使用的用户身份
user = root

;stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/data/promtail/log/promtail.out
;把stderr重定向到stdout，默认 false
redirect_stderr = true
;stdout日志文件大小，默认 50MB
stdout_logfile_maxbytes = 20MB
;stdout日志文件备份数
stdout_logfile_backups = 10
EOF

$ supervisorctl update && supervisorctl status
loki                             RUNNING   pid 18598, uptime 0:21:50
promtai                          RUNNING   pid 19709, uptime 0:00:05

$ tail -f /data/promtail/log/promtail.out
level=info ts=2022-12-01T03:02:07.777216395Z caller=promtail.go:123 msg="Reloading configuration file" md5sum=939a5b17c2c41c6ac525dcf45e9db654
level=info ts=2022-12-01T03:02:07.778163605Z caller=server.go:323 http=[::]:9080 grpc=[::]:43841 msg="server listening on addresses"
level=info ts=2022-12-01T03:02:07.778324042Z caller=main.go:171 msg="Starting Promtail" version="(version=HEAD-1b627d8, branch=HEAD, revision=1b627d880)"
level=warn ts=2022-12-01T03:02:07.795982266Z caller=promtail.go:220 msg="enable watchConfig"
level=info ts=2022-12-01T03:02:12.796214081Z caller=filetargetmanager.go:352 msg="Adding target" key="/var/log/{*.log,btmp,cron,dmesg,lastlog,messages,secure,wtmp}:{app=\"system\", host=\"ops-test-191\", job=\"system_log\", team=\"ops\"}"

# 下载grafana二进制安装包，如果下载慢就科学上网下载吧
$ wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.2.7.linux-amd64.tar.gz

# 解压二进制包并重命名移动到/data目录下
$ tar xzvf grafana-enterprise-9.2.7.linux-amd64.tar.gz && mv grafana-9.2.7 /data/grafana

# 创建grafana的日志目录
$ mkdir -p /data/grafana/log

$ cat >/etc/supervisord.d/grafana.ini<<EOF
;项目名
[program:grafana]
;脚本目录
directory=/data/grafana
;脚本执行命令
command=/data/grafana/bin/grafana-server

;supervisor启动的时候是否随着同时启动，默认True
autostart=true
;当程序exit的时候自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启,false是永不重启，true是自动重启
autorestart=true
; 启动失败自动重试次数，默认是3
startretries=3
;这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了。默认值为1
startsecs=1
;程序启动使用的用户身份
user = root

;stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/data/grafana/log/grafana.out
;把stderr重定向到stdout，默认 false
redirect_stderr = true
;stdout日志文件大小，默认 50MB
stdout_logfile_maxbytes = 20MB
;stdout日志文件备份数
stdout_logfile_backups = 10
EOF

# 更新supervisor配置并启动grafana服务
$ supervisorctl update && supervisorctl status
grafana                          RUNNING   pid 20601, uptime 0:00:45
loki                             RUNNING   pid 18598, uptime 0:39:23
promtai                          RUNNING   pid 19709, uptime 0:17:38

# 下载promtail二进制安装包，如果下载慢就科学上网下载吧
$ wget https://github.com/feiyu563/PrometheusAlert/releases/download/v4.8.2/linux.zip

# 解压并重命名
$ unzip linux.zip && mv linux /data/PrometheusAlert

# 添加执行权限
$ cd /data/PrometheusAlert && chmod +x PrometheusAlert

# 切换到PrometheusAlert目录下
$ cd /data/PrometheusAlert

# 修改配置文件，我这里只修改了账号密码，还有开启飞书webhook，如果你想通知到其他平台就配置对应平台即可。
$ vim conf/app.conf
------------- 【下面展示的是我修改的配置，未展示的就是使用的默认配置】 -------------
#登录用户名
login_user=admin
#登录密码
login_password=putianhui
#---------------------↓webhook-----------------------
#是否开启飞书告警通道,可同时开始多个通道0为关闭,1为开启
open-feishu=1
#默认飞书机器人地址，这里写你默认使用飞书机器人webhook地址，如何创建机器人并获得地址不叙述。
fsurl=https://open.feishu.cn/open-apis/bot/hook/xxxxxxxxx

$ cat >/etc/supervisord.d/prometheus-alter.ini<<EOF
;项目名
[program:prometheus-alter]
;脚本目录
directory=/data/PrometheusAlert
;脚本执行命令
command=/data/PrometheusAlert/PrometheusAlert

;supervisor启动的时候是否随着同时启动，默认True
autostart=true
;当程序exit的时候自动重启,可选值：[unexpected,true,false]，默认为unexpected，表示进程意外杀死后才重启,false是永不重启，true是自动重启
autorestart=true
; 启动失败自动重试次数，默认是3
startretries=3
;这个选项是子进程启动多少秒之后，此时状态如果是running，则我们认为启动成功了。默认值为1
startsecs=1
;程序启动使用的用户身份
user = root

;stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/data/PrometheusAlert/logs/PrometheusAlert.out
;把stderr重定向到stdout，默认 false
redirect_stderr = true
;stdout日志文件大小，默认 50MB
stdout_logfile_maxbytes = 20MB
;stdout日志文件备份数
stdout_logfile_backups = 10
EOF

$ supervisorctl update && supervisorctl status
grafana                          RUNNING   pid 20601, uptime 1:56:44
loki                             RUNNING   pid 18598, uptime 2:35:22
prometheus-alter                 RUNNING   pid 26324, uptime 0:00:04
promtai                          RUNNING   pid 19709, uptime 2:13:37

$ cat /data/PrometheusAlert/logs/PrometheusAlert.out
2022/12/01 13:15:40.808 [I] [proc.go:255]  [main] 构建的Go版本: go1.17.5
2022/12/01 13:15:40.809 [I] [proc.go:255]  [main] 应用当前版本: 'v4.8.2'
2022/12/01 13:15:40.809 [I] [proc.go:255]  [main] 应用当前提交: eb8600a0597ab4f011c123083e2a457a11ea536e
2022/12/01 13:15:40.809 [I] [proc.go:255]  [main] 应用构建时间: 2022-06-24T15:42:46+0800
2022/12/01 13:15:40.809 [I] [proc.go:255]  [main] 应用构建用户: root@bogon
2022/12/01 13:15:40.865 [I] [asm_amd64.s:1581]  http server Running on http://0.0.0.0:8080

# 模板名称：grafana-fs-loki
# 模板类型：飞书
# 模板用途：Grafana

# 模板内容如下
{{if eq .state "ok"}}
{{ range $k,$v:=.alerts}}**
======== 💚 日志告警恢复 💚 ========**
**告警名称**：[{{$v.labels.alertname}}]({{.generatorURL}})
**告警级别**：严重
**告警状态**：{{$v.status}}
**开始时间**：{{GetCSTtime $v.startsAt}}
**结束时间**：{{GetCSTtime $v.endsAt}}
**当前**：**恢复正常**
**===========【END】============**
{{ end }}
{{else}}
{{ range $k,$v:=.alerts}}**
======== 💔 日志告警 💔  ========**
**告警名称**：[{{$v.labels.alertname}}]({{.generatorURL}})
**告警级别**：严重
**告警状态**：{{$v.status}}
**开始时间**：{{GetCSTtime $v.startsAt}}
**结束时间**：{{GetCSTtime $v.endsAt}}
**静默告警**：[点我跳转静默]({{.silenceURL}})
[Description内容] 
{{$v.annotations.description}}

**标签列表**
{{ range $kk,$vv:=$v.labels}} - {{$kk}} = {{$vv}}
{{end}}**===========【END】============**
{{ end }}
{{end}}

# 下面是复制下来的地址。
http://192.168.0.191:8080/prometheusalert?type=fs&tpl=grafana-fs-loki&fsurl=飞书机器人地址&at=zhangsan@xxx.com

$ echo '[2022-11-30 06:12:35,761] ERRO [GroupMetadataManager brokerId=1] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)' >> /data/kafka/logs/server.log

$ echo '[2022-11-30 06:12:35,761] ERRO [GroupMetadataManager brokerId=1] Removed 0 expired offsets in 0 milliseconds. (kafka.coordinator.group.GroupMetadataManager)' >> /data/kafka/logs/server.log