117 lines
4.1 KiB
Markdown
117 lines
4.1 KiB
Markdown
# rpi-worker-monitor-node
|
|
작성: AI / 수정: nkey
|
|
|
|
라즈베리파이 **모니터링 워커 노드**에서 Prometheus/Alertmanager/Loki/Grafana를 **Docker Compose**로 구동하기 위한 레포입니다.
|
|
|
|
- `monitoring/docker-compose.yml`: 모니터링 스택 컨테이너 실행
|
|
- `monitoring/prometheus/*`: Prometheus 설정/알람 룰
|
|
- `monitoring/alertmanager/*`: Alertmanager 라우팅/웹훅
|
|
- `monitoring/loki/*`: Loki 스토리지/인덱싱 설정
|
|
|
|
docker compose로 배포하던 방식을 k3s로 배포하는 방식으로 수정하면서 master node에서 한번에 배포 진행합니다. (참고: `rpi-master-node/k3s-monitoring`)
|
|
아래 내용들은 docker compose로 하던 방식에 대한 설명이니 참고만 부탁드립니다.
|
|
|
|
|
|
## Quickstart
|
|
### Recommended
|
|
```bash
|
|
# clone
|
|
git clone https://nkeystudy.site/gitea/2025-capstone/rpi-worker-monitor-node.git
|
|
cd rpi-worker-monitor-node/monitoring
|
|
|
|
# run
|
|
docker compose up -d
|
|
|
|
# verify
|
|
docker compose ps
|
|
curl -s http://localhost:9090/-/ready
|
|
curl -s http://localhost:9093/-/ready
|
|
curl -s http://localhost:3100/ready
|
|
```
|
|
|
|
## Requirements
|
|
- Runtime/Language: Docker Engine + Docker Compose
|
|
- Dependencies: 없음(스택은 모두 컨테이너로 구동)
|
|
- Tools: `docker`, `docker compose`
|
|
|
|
## Configuration
|
|
### Environment Variables
|
|
| Key | Description | Default | Required |
|
|
|---|---|---:|:---:|
|
|
| TZ | 컨테이너 타임존 | `Asia/Seoul` | |
|
|
| GF_SECURITY_ADMIN_USER | Grafana 관리자 계정 | `admin` | |
|
|
| GF_SECURITY_ADMIN_PASSWORD | Grafana 관리자 비밀번호 | `admin1234` | |
|
|
|
|
### Ports
|
|
| Service | Port | Description |
|
|
|---|---:|---|
|
|
| Prometheus | 9090 | Prometheus UI/API |
|
|
| Alertmanager | 9093 | Alertmanager UI/API |
|
|
| Loki | 3100 | Loki API |
|
|
| Grafana | 3000 | Grafana UI |
|
|
| Node-Exporter | 9100 | Prometheus scraping |
|
|
| Promtail | 9080 | Prometheus scraping |
|
|
|
|
## Usage (minimal)
|
|
- 실행/중지
|
|
```bash
|
|
cd monitoring
|
|
docker compose up -d
|
|
docker compose down
|
|
```
|
|
|
|
- Prometheus 설정 변경 후 reload
|
|
```bash
|
|
# docker-compose.yml 에서 --web.enable-lifecycle 활성화되어 있음
|
|
curl -X POST http://localhost:9090/-/reload
|
|
```
|
|
|
|
## (All nodes) node-exporter, promtail 설치 (수동)
|
|
- https://nkeystudy.site/gitea/2025-capstone/rpi-master-node/README.md 참고
|
|
|
|
## 설정 파일 설명 (이 레포에 포함된 것만)
|
|
### Docker Compose
|
|
- `monitoring/docker-compose.yml`
|
|
- `prometheus`, `alertmanager`, `loki`, `grafana` 4개 서비스를 동일 네트워크에서 실행
|
|
- Prometheus:
|
|
- `./prometheus/prometheus.yml`, `./prometheus/alert.rules.yml`을 컨테이너에 마운트
|
|
- 데이터는 `prometheus-data` 볼륨에 저장
|
|
- `--web.enable-lifecycle`로 `/-/reload` 지원
|
|
- Alertmanager:
|
|
- `./alertmanager/alertmanager.yml` 마운트
|
|
- 데이터는 `alertmanager-data` 볼륨에 저장
|
|
- Loki:
|
|
- `./loki/loki-config.yml` 마운트
|
|
- 데이터는 `loki-data` 볼륨에 저장
|
|
- Grafana:
|
|
- 데이터는 `grafana-data` 볼륨에 저장
|
|
- 관리자 계정/비번을 env로 주입
|
|
|
|
### Prometheus
|
|
- `monitoring/prometheus/prometheus.yml`
|
|
- 스크레이프 타겟:
|
|
- `node-exporter`를 노드별 `:9100`으로 수집(`rpi-master:9100`, `rpi-worker-monitor:9100`, `rpi-worker-service:9100`)
|
|
- `kube-state-metrics`는 `10.43.217.216:8080`로 설정(클러스터 환경에 맞게 조정 필요)
|
|
- Alertmanager 타겟: `alertmanager:9093`
|
|
- 룰 파일: `/etc/prometheus/alert.rules.yml`
|
|
- `monitoring/prometheus/alert.rules.yml`
|
|
- 노드 상태/리소스 알람:
|
|
- `NodeDown`, `HighCpuLoad`, `HighMemoryUsage`, `DiskAlmostFull(>0.85)`, `HighSystemLoad`
|
|
- K8s 워크로드 알람:
|
|
- `KubeNodeNotReady`, `PodCrashLooping`, `PodNotReady`, `DeploymentReplicasMismatch`
|
|
|
|
### Alertmanager
|
|
- `monitoring/alertmanager/alertmanager.yml`
|
|
- `severity="critical"` 알람을 `n8n-webhook`으로 라우팅
|
|
- Webhook URL: `http://<IP>/n8n/webhook/alert`
|
|
- `send_resolved: true`로 해제 이벤트도 전송
|
|
|
|
### Loki
|
|
- `monitoring/loki/loki-config.yml`
|
|
- 단일 인스턴스 Loki 설정(filesystem 기반)
|
|
- `chunks_directory`, `active_index_directory` 등을 `/loki/*` 하위로 사용
|
|
- `auth_enabled: false`(내부 데모 용도)
|
|
|
|
## License
|
|
(Not specified in repo)
|