soo-rnd
/
gpu-zombie-test
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
4 Commits 1 Branch 1 Tag 96 KiB
Commit Graph

4 Commits

Author SHA1 Message Date
selee fc045680c3 docs: 시나리오 1 5가지 변형 실험 결과 반영 
실측 결과 plan.md의 핵심 가설("orphan CUDA context 발생")이 미검증.
대신 두 가지 진짜 문제 발견:
- 30초 grace period 동안 GPU 점유 (SIGTERM 무시 시)
- NCCL multi-GPU에서 한 rank 죽으면 나머지 hang으로 GPU 5.7GB 영구 점유

변경 내용:
- results/comparison.md 신규 — 5개 변형(driver, user, worker개수, NCCL) 비교 분석
- README.md — 실험 결과 요약 섹션, 시나리오 가설들에 검증 결과 추가
- plan.md — Phase 1 직전에 실험 결과 요약 + Step 3-B 절차 추가
                + 시나리오 2~4 가치 재정의

시나리오 2~4는 미실험 — 시나리오 1 결과를 반영해서 갱신된 예상치만 기재.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-04-15 15:58:24 +09:00
selee 1aad467a61 fix: remove --break-system-packages flag (Ubuntu 22.04 pip 미지원)
CI — Build & Push Scenario Images / build-and-push (scenario-1-nofix, nofix) (push) Successful in 8m4s Details
CI — Build & Push Scenario Images / build-and-push (scenario-2-tini-only, tini) (push) Successful in 8m10s Details
CI — Build & Push Scenario Images / build-and-push (scenario-4-fullfix, fullfix) (push) Successful in 7s Details
CD — Package & Deploy Helm Chart / deploy (push) Successful in 7s Details 
pip 23.0.1+에서 도입된 옵션이라 Ubuntu 22.04 (pip 22.0.2) 에서 에러.
nvidia/cuda:12.1.0-runtime-ubuntu22.04 는 externally-managed가 아니라 플래그 불필요.
대신 --no-cache-dir로 이미지 크기 최소화.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-04-10 17:21:10 +09:00
selee 6b6754afd9 ci: add workflow_dispatch for manual trigger
CI — Build & Push Scenario Images / build-and-push (scenario-1-nofix, nofix) (push) Failing after 1m37s Details
CI — Build & Push Scenario Images / build-and-push (scenario-2-tini-only, tini) (push) Failing after 49s Details
CI — Build & Push Scenario Images / build-and-push (scenario-4-fullfix, fullfix) (push) Failing after 49s Details 
첫 커밋 당시 has_actions: false 로 event가 드랍됐기 때문에,
watched paths에 포함된 ci.yaml 자체를 수정해 CI를 처음으로 트리거.
앞으로는 workflow_dispatch로 UI/API에서 수동 재실행 가능.

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-04-10 17:15:45 +09:00
selee 1daa9bad24 Initial commit — GPU zombie/orphan/orphaned-CUDA-context 실험 프로젝트 
- plan.md: Phase 0 (CI/CD) + 4 시나리오 (No Fix / tini only / tini+preStop / Full Fix)
- scripts/: observe, node-observe, gpu-pod-trace (cgroup v1), prestop
- scenario-1~4/: Dockerfile + worker py + Pod manifest
- .gitea/workflows/: ci.yaml (matrix 3 이미지 build), cd.yaml (v* tag → Helm OCI)
- charts/gpu-zombie-test/: Helm chart (4 Pod template + helper)
- argocd-app.yaml: Harbor OCI chart auto sync

Co-Authored-By: Claude Opus 4.6 (1M context) <noreply@anthropic.com>
 2026-04-10 17:12:38 +09:00