Skip to content

Commit fbb638f

Browse files
ktkfreektkfree
authored
Merge pull request #251 from openinfradev/release
241015 main from release ( v3.2.1 )
2 parents 3a70d76 + 6ac3350 commit fbb638f

File tree

35 files changed

+1331
-299
lines changed

35 files changed

+1331
-299
lines changed

‎aws-msa-reference/lma/site-values.yaml

Lines changed: 43 additions & 57 deletions
Original file line numberDiff line numberDiff line change
@@ -16,6 +16,8 @@ global:
1616

1717
lokiHost: loki-loki-distributed-gateway
1818
lokiPort: 80
19+
lokiuserHost: loki-user-loki-distributed-gateway
20+
lokiuserPort: 80
1921
s3Service: "minio.lma.svc:9000" # depends on $lmaNameSpace (ex. minio.taco-system.svc)
2022

2123
lmaNameSpace: lma
@@ -148,19 +150,23 @@ charts:
148150
- name: taco-loki
149151
host: $(lokiHost)
150152
port: $(lokiPort)
153+
lokiuser:
154+
- name: taco-loki-user
155+
host: $(lokiuserHost)
156+
port: $(lokiuserPort)
151157
targetLogs:
152158
- tag: kube.*
153159
bufferChunkSize: 2M
154160
bufferMaxSize: 5M
155161
do_not_store_as_default: false
156162
index: container
157-
loki_name: taco-loki
163+
loki_name: taco-loki-user
158164
memBufLimit: 20MB
159165
multi_index:
160166
- index: platform
161167
loki_name: taco-loki
162168
key: $kubernetes['namespace_name']
163-
value: kube-system|$(lmaNameSpace)|taco-system|argo
169+
value: kube-system|$(lmaNameSpace)|taco-system|gatekeeper-system|argo
164170
parser: docker
165171
path: /var/log/containers/*.log
166172
type: kubernates
@@ -274,6 +280,8 @@ charts:
274280
# - --deduplication.replica-label="replica"
275281
storegateway.persistence.size: 8Gi
276282
ruler.nodeSelector: $(nodeSelector)
283+
ruler.service.type: LoadBalancer
284+
ruler.service.annotations: $(awsNlbAnnotation)
277285
ruler.alertmanagers:
278286
- http://alertmanager-operated:9093
279287
ruler.persistence.size: 8Gi
@@ -283,61 +291,7 @@ charts:
283291
rules:
284292
- alert: "PrometheusDown"
285293
expr: absent(up{prometheus="lma/lma-prometheus"})
286-
- alert: node-cpu-high-load
287-
annotations:
288-
message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 idle process의 cpu 점유율이 3분 동안 0% 입니다. (현재 사용률 {{$value}})
289-
description: 워커 노드 CPU가 과부하 상태입니다. 일시적인 서비스 Traffic 증가, Workload의 SW 오류, Server HW Fan Fail등 다양한 원인으로 인해 발생할 수 있습니다.
290-
Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행 되는 pod중 CPU 자원을 많이 점유하는 pod의 설정을 점검해 보시길 제안드립니다. 예를 들어 pod spec의 limit 설정으로 과도한 CPU자원 점유을 막을 수 있습니다.
291-
summary: Cpu resources of the node {{ $labels.instance }} are running low.
292-
discriminative: $labels.taco_cluster, $labels.instance
293-
expr: (avg by (taco_cluster, instance) (rate(node_cpu_seconds_total{mode="idle"}[60s]))) < 0 #0.1 # 진짜 0?
294-
for: 3m
295-
labels:
296-
severity: warning
297-
- alert: node-memory-high-utilization
298-
annotations:
299-
message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 Memory 사용량이 3분동안 80% 를 넘어서고 있습니다. (현재 사용률 {{$value}})
300-
descriptioon: 워커 노드의 Memory 사용량이 80%를 넘었습니다. 일시적인 서비스 증가 및 SW 오류등 다양한 원인으로 발생할 수 있습니다.
301-
Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행되는 pod중 Memory 사용량이 높은 pod들에 대한 점검을 제안드립니다.
302-
summary: Memory resources of the node {{ $labels.instance }} are running low.
303-
discriminative: $labels.taco_cluster, $labels.instance
304-
expr: (node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes) < 0.2
305-
for: 3m
306-
labels:
307-
severity: warning
308-
- alert: node-disk-full
309-
annotations:
310-
message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 root 볼륨은 24시간 안에 Disk full이 예상됨
311-
description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰 것으로 예상됩니다.
312-
Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
313-
summary: Memory resources of the node {{ $labels.instance }} are running low.
314-
discriminative: $labels.taco_cluster, $labels.instance
315-
expr: predict_linear(node_filesystem_free_bytes{mountpoint="/"}[6h], 24*3600) < 0
316-
for: 30m
317-
labels:
318-
severity: critical
319-
- alert: pvc-full
320-
annotations:
321-
message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.persistentvolumeclaim }})가 24시간 안에 Disk full이 예상됨
322-
description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰것으로 예상됩니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.persistentvolumeclaim }} PVC)
323-
Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
324-
summary: Disk resources of the volume(pvc) {{ $labels.persistentvolumeclaim }} are running low.
325-
discriminative: $labels.taco_cluster, $labels.persistentvolumeclaim
326-
expr: predict_linear(kubelet_volume_stats_available_bytes[6h], 24*3600) < 0 # kubelet_volume_stats_capacity_bytes
327-
for: 30m
328-
labels:
329-
severity: critical
330-
- alert: pod-restart-frequently
331-
annotations:
332-
message: 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.pod }})가 30분 동안 5회 이상 재기동 ({{ $value }}회)
333-
description: 특정 Pod가 빈번하게 재기동 되고 있습니다. 점검이 필요합니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.pod }} 파드)
334-
Checkpoint: pod spec. 에 대한 점검이 필요합니다. pod의 log 및 status를 확인해 주세요.
335-
discriminative: $labels.taco_cluster, $labels.pod, $labels.namespace
336-
expr: increase(kube_pod_container_status_restarts_total{namespace!="kube-system"}[60m:]) > 2 # 몇회로 할 것인지?
337-
for: 30m
338-
labels:
339-
severity: critical
340-
294+
341295
- name: thanos-config
342296
override:
343297
objectStorage:
@@ -393,10 +347,42 @@ charts:
393347
aws:
394348
s3: http://$(defaultUser):$(defaultPassword)@$(s3Service)/minio
395349

350+
- name: loki-user
351+
override:
352+
global.dnsService: kube-dns
353+
# global.clusterDomain: $(clusterName) # annotate cluste because the cluster name is still cluster.local regardless cluster
354+
gateway.service.type: LoadBalancer
355+
gateway.service.annotations: $(awsNlbAnnotation)
356+
ingester.persistence.storageClass: $(storageClassName)
357+
distributor.persistence.storageClass: $(storageClassName)
358+
queryFrontend.persistence.storageClass: $(storageClassName)
359+
ruler.persistence.storageClass: $(storageClassName)
360+
indexGateway.persistence.storageClass: $(storageClassName)
361+
# select target node's label
362+
ingester.nodeSelector: $(nodeSelector)
363+
distributor.nodeSelector: $(nodeSelector)
364+
querier.nodeSelector: $(nodeSelector)
365+
queryFrontend.nodeSelector: $(nodeSelector)
366+
queryScheduler.nodeSelector: $(nodeSelector)
367+
tableManager.nodeSelector: $(nodeSelector)
368+
gateway.nodeSelector: $(nodeSelector)
369+
compactor.nodeSelector: $(nodeSelector)
370+
ruler.nodeSelector: $(nodeSelector)
371+
indexGateway.nodeSelector: $(nodeSelector)
372+
memcachedChunks.nodeSelector: $(nodeSelector)
373+
memcachedFrontend.nodeSelector: $(nodeSelector)
374+
memcachedIndexQueries.nodeSelector: $(nodeSelector)
375+
memcachedIndexWrites.nodeSelector: $(nodeSelector)
376+
loki:
377+
storageConfig:
378+
aws:
379+
s3: http://$(defaultUser):$(defaultPassword)@$(s3Service)/minio
380+
396381
- name: lma-bucket
397382
override:
398383
s3.enabled: true
399384
s3.buckets:
400385
- name: $(clusterName)-tks-thanos
401386
- name: $(clusterName)-tks-loki
387+
- name: $(clusterName)-tks-loki-user
402388
tks.iamRoles: $(tksIamRoles)

‎aws-msa-reference/policy/kustomization.yaml

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
resources:
2+
- ../base
3+
4+
transformers:
5+
- site-values.yaml

‎aws-msa-reference/policy/site-values.yaml

Lines changed: 26 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,26 @@
1+
apiVersion: openinfradev.github.com/v1
2+
kind: HelmValuesTransformer
3+
metadata:
4+
name: site
5+
6+
global:
7+
nodeSelector:
8+
taco-lma: enabled
9+
clusterName: cluster.local
10+
storageClassName: taco-storage
11+
repository: https://openinfradev.github.io/helm-repo/
12+
13+
charts:
14+
- name: opa-gatekeeper
15+
override:
16+
postUpgrade.nodeSelector: $(nodeSelector)
17+
postInstall.nodeSelector: $(nodeSelector)
18+
preUninstall.nodeSelector: $(nodeSelector)
19+
controllerManager.nodeSelector: $(nodeSelector)
20+
audit.nodeSelector: $(nodeSelector)
21+
crds.nodeSelector: $(nodeSelector)
22+
23+
enableDeleteOperations: true
24+
25+
- name: policy-resources
26+
override: {}

‎aws-msa-reference/tks-cluster/site-values.yaml

Lines changed: 7 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -27,7 +27,7 @@ charts:
2727
sshKeyName: $(sshKeyName)
2828
cluster:
2929
name: $(clusterName)
30-
kubernetesVersion: v1.26.10
30+
kubernetesVersion: v1.29.8
3131
eksEnabled: false
3232
multitenancyId:
3333
kind: AWSClusterRoleIdentity
@@ -54,6 +54,8 @@ charts:
5454
kubeadmControlPlane:
5555
replicas: $(tksCpNode)
5656
controlPlaneMachineType: $(tksCpNodeType)
57+
ami:
58+
id: ami-02e4e8f09921cfe97
5759
machinePool:
5860
- name: taco
5961
machineType: $(tksInfraNodeType)
@@ -69,6 +71,8 @@ charts:
6971
taco-ingress-gateway: enabled
7072
roleAdditionalPolicies:
7173
- "arn:aws:iam::aws:policy/AmazonS3FullAccess"
74+
ami:
75+
id: ami-02e4e8f09921cfe97
7276
machineDeployment:
7377
- name: normal
7478
numberOfAZ: 3 # ap-northeast-2
@@ -80,6 +84,8 @@ charts:
8084
rootVolume:
8185
size: 50
8286
type: gp2
87+
ami:
88+
id: ami-02e4e8f09921cfe97
8389

8490
- name: ingress-nginx
8591
override:

‎aws-reference/lma/site-values.yaml

Lines changed: 43 additions & 58 deletions
Original file line numberDiff line numberDiff line change
@@ -16,6 +16,8 @@ global:
1616

1717
lokiHost: loki-loki-distributed-gateway
1818
lokiPort: 80
19+
lokiuserHost: loki-user-loki-distributed-gateway
20+
lokiuserPort: 80
1921
s3Service: "minio.lma.svc:9000" # depends on $lmaNameSpace (ex. minio.taco-system.svc)
2022

2123
lmaNameSpace: lma
@@ -148,19 +150,23 @@ charts:
148150
- name: taco-loki
149151
host: $(lokiHost)
150152
port: $(lokiPort)
153+
lokiuser:
154+
- name: taco-loki-user
155+
host: $(lokiuserHost)
156+
port: $(lokiuserPort)
151157
targetLogs:
152158
- tag: kube.*
153159
bufferChunkSize: 2M
154160
bufferMaxSize: 5M
155161
do_not_store_as_default: false
156162
index: container
157-
loki_name: taco-loki
163+
loki_name: taco-loki-user
158164
memBufLimit: 20MB
159165
multi_index:
160166
- index: platform
161167
loki_name: taco-loki
162168
key: $kubernetes['namespace_name']
163-
value: kube-system|$(lmaNameSpace)|taco-system|argo
169+
value: kube-system|$(lmaNameSpace)|taco-system|gatekeeper-system|argo
164170
parser: docker
165171
path: /var/log/containers/*.log
166172
type: kubernates
@@ -244,7 +250,6 @@ charts:
244250
consoleIngress.nodeSelector: $(nodeSelector)
245251
postJob.nodeSelector: $(nodeSelector)
246252

247-
248253
- name: thanos
249254
override:
250255
global.storageClass: $(storageClassName)
@@ -274,6 +279,8 @@ charts:
274279
# - --deduplication.replica-label="replica"
275280
storegateway.persistence.size: 8Gi
276281
ruler.nodeSelector: $(nodeSelector)
282+
ruler.service.type: LoadBalancer
283+
ruler.service.annotations: $(awsNlbAnnotation)
277284
ruler.alertmanagers:
278285
- http://alertmanager-operated:9093
279286
ruler.persistence.size: 8Gi
@@ -283,61 +290,7 @@ charts:
283290
rules:
284291
- alert: "PrometheusDown"
285292
expr: absent(up{prometheus="lma/lma-prometheus"})
286-
- alert: node-cpu-high-load
287-
annotations:
288-
message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 idle process의 cpu 점유율이 3분 동안 0% 입니다. (현재 사용률 {{$value}})
289-
description: 워커 노드 CPU가 과부하 상태입니다. 일시적인 서비스 Traffic 증가, Workload의 SW 오류, Server HW Fan Fail등 다양한 원인으로 인해 발생할 수 있습니다.
290-
Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행 되는 pod중 CPU 자원을 많이 점유하는 pod의 설정을 점검해 보시길 제안드립니다. 예를 들어 pod spec의 limit 설정으로 과도한 CPU자원 점유을 막을 수 있습니다.
291-
summary: Cpu resources of the node {{ $labels.instance }} are running low.
292-
discriminative: $labels.taco_cluster, $labels.instance
293-
expr: (avg by (taco_cluster, instance) (rate(node_cpu_seconds_total{mode="idle"}[60s]))) < 0 #0.1 # 진짜 0?
294-
for: 3m
295-
labels:
296-
severity: warning
297-
- alert: node-memory-high-utilization
298-
annotations:
299-
message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 Memory 사용량이 3분동안 80% 를 넘어서고 있습니다. (현재 사용률 {{$value}})
300-
descriptioon: 워커 노드의 Memory 사용량이 80%를 넘었습니다. 일시적인 서비스 증가 및 SW 오류등 다양한 원인으로 발생할 수 있습니다.
301-
Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행되는 pod중 Memory 사용량이 높은 pod들에 대한 점검을 제안드립니다.
302-
summary: Memory resources of the node {{ $labels.instance }} are running low.
303-
discriminative: $labels.taco_cluster, $labels.instance
304-
expr: (node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes) < 0.2
305-
for: 3m
306-
labels:
307-
severity: warning
308-
- alert: node-disk-full
309-
annotations:
310-
message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 root 볼륨은 24시간 안에 Disk full이 예상됨
311-
description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰 것으로 예상됩니다.
312-
Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
313-
summary: Memory resources of the node {{ $labels.instance }} are running low.
314-
discriminative: $labels.taco_cluster, $labels.instance
315-
expr: predict_linear(node_filesystem_free_bytes{mountpoint="/"}[6h], 24*3600) < 0
316-
for: 30m
317-
labels:
318-
severity: critical
319-
- alert: pvc-full
320-
annotations:
321-
message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.persistentvolumeclaim }})가 24시간 안에 Disk full이 예상됨
322-
description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰것으로 예상됩니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.persistentvolumeclaim }} PVC)
323-
Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
324-
summary: Disk resources of the volume(pvc) {{ $labels.persistentvolumeclaim }} are running low.
325-
discriminative: $labels.taco_cluster, $labels.persistentvolumeclaim
326-
expr: predict_linear(kubelet_volume_stats_available_bytes[6h], 24*3600) < 0 # kubelet_volume_stats_capacity_bytes
327-
for: 30m
328-
labels:
329-
severity: critical
330-
- alert: pod-restart-frequently
331-
annotations:
332-
message: 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.pod }})가 30분 동안 5회 이상 재기동 ({{ $value }}회)
333-
description: 특정 Pod가 빈번하게 재기동 되고 있습니다. 점검이 필요합니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.pod }} 파드)
334-
Checkpoint: pod spec. 에 대한 점검이 필요합니다. pod의 log 및 status를 확인해 주세요.
335-
discriminative: $labels.taco_cluster, $labels.pod, $labels.namespace
336-
expr: increase(kube_pod_container_status_restarts_total{namespace!="kube-system"}[60m:]) > 2 # 몇회로 할 것인지?
337-
for: 30m
338-
labels:
339-
severity: critical
340-
293+
341294
- name: thanos-config
342295
override:
343296
objectStorage:
@@ -393,10 +346,42 @@ charts:
393346
aws:
394347
s3: http://$(defaultUser):$(defaultPassword)@$(s3Service)/minio
395348

349+
- name: loki-user
350+
override:
351+
global.dnsService: kube-dns
352+
# global.clusterDomain: $(clusterName) # annotate cluste because the cluster name is still cluster.local regardless cluster
353+
gateway.service.type: LoadBalancer
354+
gateway.service.annotations: $(awsNlbAnnotation)
355+
ingester.persistence.storageClass: $(storageClassName)
356+
distributor.persistence.storageClass: $(storageClassName)
357+
queryFrontend.persistence.storageClass: $(storageClassName)
358+
ruler.persistence.storageClass: $(storageClassName)
359+
indexGateway.persistence.storageClass: $(storageClassName)
360+
# select target node's label
361+
ingester.nodeSelector: $(nodeSelector)
362+
distributor.nodeSelector: $(nodeSelector)
363+
querier.nodeSelector: $(nodeSelector)
364+
queryFrontend.nodeSelector: $(nodeSelector)
365+
queryScheduler.nodeSelector: $(nodeSelector)
366+
tableManager.nodeSelector: $(nodeSelector)
367+
gateway.nodeSelector: $(nodeSelector)
368+
compactor.nodeSelector: $(nodeSelector)
369+
ruler.nodeSelector: $(nodeSelector)
370+
indexGateway.nodeSelector: $(nodeSelector)
371+
memcachedChunks.nodeSelector: $(nodeSelector)
372+
memcachedFrontend.nodeSelector: $(nodeSelector)
373+
memcachedIndexQueries.nodeSelector: $(nodeSelector)
374+
memcachedIndexWrites.nodeSelector: $(nodeSelector)
375+
loki:
376+
storageConfig:
377+
aws:
378+
s3: http://$(defaultUser):$(defaultPassword)@$(s3Service)/minio
379+
396380
- name: lma-bucket
397381
override:
398382
s3.enabled: true
399383
s3.buckets:
400384
- name: $(clusterName)-tks-thanos
401385
- name: $(clusterName)-tks-loki
386+
- name: $(clusterName)-tks-loki-user
402387
tks.iamRoles: $(tksIamRoles)

‎aws-reference/policy/kustomization.yaml

Lines changed: 5 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,5 @@
1+
resources:
2+
- ../base
3+
4+
transformers:
5+
- site-values.yaml

0 commit comments

Comments
 (0)