Master testovací strategie CEPS HUB v2.2
Verze: 2.2 · Stav: ke schválení Quality boardem Vlastník: Head of Quality (HoQ) · Schvalovatelé: CIO, COO, HoQ, Head of Operations, Head of SecOps, Head of DevOps/SRE Účinnost: od schválení Quality boardem Klasifikace: Interní Cyklus přezkoumání: Ročně + ad-hoc při změně Test Policy
Vztah k ostatním dokumentům:
- Test Policy (
03-test-policy.md) definuje PROČ testujeme — mandát, principy, hranice, schvalovací autorita- Master strategie (tento dokument) definuje JAK testujeme procesně — úrovně, typy, tooling, prostředí, RACI, KPI
- QA přístup CEPS HUB (master) (
00-QA-pristup-master.md) rozšiřuje tuto strategii o 10 quality gates napříč SDLC a třívrstvý operační model- Koncepce testování (
02-testing-koncepce.md) rozpadá strategii do metodologie — 40 typů testů, techniques, automation framework, perf/security/a11y/crypto- Test Plan (per release) říká CO se v konkrétním releasu testuje (šablona v §17.4)
0. TL;DR
Co tato strategie definuje:
- Cíle testování a měřitelné KPI (escaped defects, DRE, MTTR, lead time, coverage).
- Kategorizace projektů A/B/C s důsledky na úsilí, gate, schvalování.
- Testovací úrovně (Unit → Component → Integration → System → UAT → E2E → Operational).
- Typy testů (přehled 40 typů, detail v Koncepci testování §1).
- Toolchain registry (autoritativní seznam s rolemi adapter).
- Prostředí (DEV / TEST / PREPROD / PROD) s pravidly přístupu, dat, refresh.
- Test data management (synthetic, anonymizace, fixtures, retention).
- 7-gate CI/CD model (rozšířený v QA přístupu na 10 gates).
- Test design approach (risk-based, BDD, EP/BVA, exploratory).
- Automation strategy (pyramida, framework patterns, flaky management).
- RACI napříč rolemi a fázemi.
- Defect management (severity/priority, lifecycle, RCA).
- Reporting & evidence (Allure, ReportPortal, Grafana, Release Evidence Pack).
- Compliance overlay (NIS2, ZKB, GDPR, ENTSO-E, accessibility).
- Release model (sprint → release branch → CAB → Go-Live → PIR).
- TMMi maturity model (cíl L3 v 2026, L4 v 2027).
Co tato strategie NEDEFINUJE:
- Konkrétní quality gates v Discovery / DoR / Learning — to dělá QA přístup.
- Konkrétní metodologii per typ testu (PageObject patterns, charter sessions, k6 profily) — to dělá Koncepce testování.
- PROČ testujeme a schvalovací autoritu — to dělá Test Policy.
1. Účel a scope
1.1 Účel
Master strategie je procesní rámec pro testování v CEPS HUB. Stanovuje:
- Jak plánujeme testovací úsilí (kategorizace, úrovně, typy).
- Jak organizujeme toolchain (registry, adapter pattern, governance).
- Jak řídíme prostředí a data.
- Jak měříme úspěch (KPI, evidence).
- Jak vynucujeme kvalitu (gates v CI/CD).
- Jak rozšiřujeme model do agentic / Quality Studio (vazba na QA přístup).
1.2 Scope
Tato strategie pokrývá veškerý vývoj a údržbu CEPS HUB systémů — interní vývoj, externí dodávky, akvizice / outsourcing. Platí pro:
- Aplikační vývoj (BE/FE, mobile, integrace, BPM, reporting).
- Konfigurační změny kritické infrastruktury.
- Integrační projekty (ENTSO-E, externí stakeholders, interní systémy).
- Migrace dat a platformové upgrade.
- AI/ML komponenty (model evaluace pre-deployment).
1.3 Co tato strategie pokrývá nepřímo
- Bezpečnostní audity — koordinace, ne přímé řízení (ISMS / SecOps vlastní procesy).
- Provozní monitoring — vstupní data pro shift-right governance.
- Internal audit — strategie poskytuje evidence, audit ji konzumuje.
1.4 Závaznost
Strategie je závazná pro všechny CEPS zaměstnance a externí dodavatele zapojené do CEPS HUB. Výjimky vyžadují waiver dle Test Policy §6.3 a Master strategie §20.
2. Cíle testování
2.1 Strategické cíle 2026-2027
| Cíl | Měření | Stav 2026 | Cíl 2027 |
|---|---|---|---|
| TMMi maturity | externí assessment | L2 | L3 (2026), L4 (2027) |
| Escaped defects per release | release tracking | 8-12 | < 5 |
| Defect Removal Efficiency | (1 - leakage) × 100 | ~85 % | > 95 % |
| Quality Gate pass bez waiveru | Quality Studio | netracking | > 85 % |
| Lead time commit → PROD (A) | GitLab + Jira | 25-30 dní | < 15 dní |
| Audit-ready evidence response | manual stopwatch | hodiny-dny | < 24h |
| Risk-weighted coverage (A) | Quality Studio | netracking | > 90 % |
| Automation regrese coverage | Xray | netracking | > 70 % |
2.2 Operativní cíle
- Shift-left: 100 % story v kategorii A má DoR score ≥ 80 % před vstupem do sprintu.
- Shift-right: 100 % releasů má PIR do T+5 dní.
- Reliability: MTTR P1 < 4h, MTTR P2 < 24h.
- Predictability: Change Failure Rate < 10 %.
- Velocity bez kompromisu: Deployment frequency ≥ 1×/týden (kategorie B/C), ≥ 1×/Q (A).
2.3 Co cíle nemají dělat
- Nesmí motivovat k podvádění — gaming KPI (např. reklasifikace bugu na "feature request") je porušení politiky.
- Nesmí jít proti bezpečnosti — rychlost není legitimní důvod pro skip security testu.
- Nesmí ignorovat kontext — KPI cíle se liší per kategorie. Kategorie C nemá smysl tlačit na cíle kategorie A.
3. Kategorizace projektů (A/B/C)
Kategorizace je převzata z Test Policy §4, kde je autoritativní definice. Master strategie definuje procesní důsledky.
3.1 Procesní matrix
| Aspekt | A | B | C |
|---|---|---|---|
| Test Plan povinný | Před G7 | Před G7 | Doporučený |
| Test Strategy per epic (G3) | Vždy | Pro nové integrace | Volitelně |
| Code coverage minimum | 80 % | 70 % | 60 % |
| Branch coverage A: kritické moduly | 90 % | - | - |
| MR reviewers | 2 | 1 | 1 |
| Regression suite execution | 100 % + manual | 100 % | 80 % |
| Performance baseline | Povinné | Pokud relevantní | Není |
| Pentest | Ročně + při změně | Při významné změně | Není |
| DR drill | Pololetně full + měsíčně backup | Ročně | Není |
| Crypto/PKI test | Per release + měsíčně | Per release | Pokud relevantní |
| Accessibility WCAG 2.1 AA | Public + employee UI | Public UI | Doporučeno |
| Chaos engineering | Ročně + při změně HA | Při změně HA | Není |
| Quality Studio dashboard mandatory | Vždy | Vždy | Volitelně |
| Release Evidence Pack | Vždy WORM | Vždy WORM | Vždy WORM |
| Evidence retention | 5 let | 3 roky | 1 rok |
| Go-Live autorita | CIO + CAB + HoQ + PO | HoQ + PO | QA Lead |
| Waiver default expirace | 30 dní | 90 dní | 180 dní |
3.2 Smíšené projekty
Pokud projekt obsahuje moduly různých kategorií, nejvyšší kategorie vyhrává pro:
- Pipeline gates (SAST, SCA, signed artifact).
- Evidence retention.
- Go-Live autoritu.
Nižší kategorie modulů může mít light approach pro vlastní testování (méně reviewerů, nižší coverage), ale release jako celek se chová podle nejvyšší kategorie.
4. Testovací úrovně a typy
4.1 Úrovně testování
┌─────────────────┐
┌────►│ Operational │ PROD smoke, synthetic
│ └─────────────────┘
┌─────────────────┐
┌──►│ UAT / Business │ PREPROD, business akceptace
│ └─────────────────┘
┌─────────────────┐
┌──►│ System / E2E │ TEST/PREPROD, kritické flows
│ └─────────────────┘
┌─────────────────┐
┌►│ Integration │ CI, service-to-service
│ └─────────────────┘
┌─────────────────┐
│ Component │ CI, izolovaná komponenta s mocky
└─────────────────┘
┌─────────────────┐
│ Unit │ Build, izolovaná logika
└─────────────────┘
4.2 Typy testů — přehled
Plná taxonomie 40 typů je v Koncepci testování §1. Master strategie eviduje rodiny:
| Rodina | Co obsahuje | Kdy plánovat |
|---|---|---|
| Functional | Unit, Component, Integration, System, E2E, UAT, Smoke, Regression, Negative | Každá release |
| Contract | Pact Provider, Pact Consumer, OpenAPI Schema | Per change v API |
| Performance | Load, Stress, Soak, Spike, Capacity | Per release A, kvartálně B |
| Security | SAST, SCA, DAST, IAST, Container, SBOM, Secrets, Pentest | Per commit / build / release / ročně |
| Crypto/PKI | TLS, Cert lifecycle, mTLS, HSM rotation, Encryption | Per release + měsíčně |
| Accessibility | WCAG 2.1 AA (axe-core + manual) | Per release UI |
| Visual | Visual regression (Playwright + pixelmatch) | Per release UI |
| Compatibility | Browser matrix, mobile, OS | Per release UI |
| Reliability | DR backup restore, DR failover, DR full drill, Chaos | Měsíčně / Q / Pololetně / Ročně |
| Data Quality | Migration validation, anonymization audit | Per migrace + per refresh |
| Compliance | NIS2/ZKB/GDPR/ENTSO-E checklists | Per release |
| Exploratory | Charter-based session | Per release |
| AI/ML eval | Model regression, drift, eval harness | Per model deploy |
4.3 Pyramida & vážení (cílový poměr)
╱──────╲ Exploratory + UAT (5-8 %)
╱ Manual ╲
╱───────────╲
╱ E2E auto ╲ E2E (8-12 %)
╱ (Playwright) ╲
╱─────────────────╲
╱ Integration + API ╲ Integration + Contract (20-25 %)
╱ (Pact, Schemathesis)╲
╱───────────────────────╲
╱ Component + WireMock ╲ Component (15-20 %)
╱ ╲
╱─────────────────────────────╲
╱ Unit tests ╲ Unit (40-55 %)
╱ ╲
╱───────────────────────────────────╲
Transverzální vrstvy (běží paralelně, mimo pyramidu):
- Performance (PREPROD, periodicky)
- Security (CI + PREPROD + ročně pentest)
- Accessibility (per UI release)
- Crypto/PKI (per release A + měsíčně)
- DR / Resilience (kvartálně + pololetně)
- Synthetic monitoring (PROD continuous)
4.4 Risk-based prioritization
Risk Score = Impact × Probability (každé 1-5, score 1-25)
Impact:
1 = lokální dopad, žádná regulace
2 = team-level impact, snadné workaround
3 = service-level impact, business workaround
4 = systémový dopad, NIS2 important entity zóna
5 = kritický dopad, NIS2 essential entity, NÚKIB 24h reporting
Probability:
1 = velmi vzácně (raz/rok)
2 = občas (raz/Q)
3 = pravidelně (raz/měs)
4 = často (raz/týden)
5 = velmi často (denně+)
Důsledky pro testovací úsilí:
| Risk Score | Testovací hloubka |
|---|---|
| 1-4 | Smoke + happy path automation |
| 5-9 | + Negative + boundary + EP/BVA |
| 10-15 | + Exploratory + performance baseline + security scan |
| 16-20 | + Pentest scope + chaos scenario + DR drill |
| 21-25 | Stop-the-line: Quality Board review, nemusí být schváleno k vývoji bez mitigation plánu |
5. Toolchain registry
5.1 Autoritativní seznam (Tool Registry)
Tato sekce je autoritativní zdroj toolchainu. Quality Studio (viz QA přístup §2.2 a §7.1) ji čte a obohacuje o adapter status, verze, health.
| Oblast | Tool | Vlastník | Adapter v Quality Studio |
|---|---|---|---|
| Test management | Xray (Jira plugin) | QA Lead | konzumuje + obohacuje |
| Bug tracking | Jira | PM | custom fields wrapper |
| API testing | Postman + Newman | QA | execution adapter |
| API testing CI | pytest + requests / httpx | QA + DEV | native |
| Schema validation | Schemathesis | QA | property-based runner |
| UI E2E | Playwright | QA Automation | suite configurator + browser matrix |
| Mobile E2E | Appium / Maestro | QA Automation | adapter (volitelně Maestro pro flowy) |
| Visual regression | Playwright + pixelmatch | QA Automation | snapshot store + diff viewer |
| Accessibility | axe-core + Lighthouse | QA + UX | release gate + report aggregation |
| Performance | k6 | QA + SRE | profile manager + threshold parser |
| Performance (legacy) | JMeter | QA | execution adapter |
| SAST | SonarQube + Semgrep | SecOps | thresholds + gate enforcement |
| DAST | OWASP ZAP | SecOps | scan profile + finding mapping |
| SCA | Snyk + Trivy | SecOps | CVE thresholds, SBOM verification |
| Container scanning | Trivy / Grype | DevOps + SecOps | image scan, build gate |
| SBOM | Trivy / Syft | DevOps | generated per build, retention |
| Image signing | Cosign | DevOps | sign + verify in pipeline |
| Secrets detection | gitleaks | DevOps + SecOps | pre-commit + CI hard block |
| Threat modeling | OWASP Threat Dragon / IriusRisk | SecOps | reference (mimo Quality Studio) |
| TLS/crypto | testssl.sh | DevSecOps | scheduled scan + cert inventory |
| Mock servers | WireMock | DEV + QA | service virtualization |
| Contract testing | Pact | DEV + QA | broker integration |
| Chaos | Litmus / Chaos Mesh | DEV + OPS + QA | scenario whitelist + isolated cluster |
| CI/CD | GitLab CI | DevOps | primary executor |
| Container registry | GitLab Container Registry | DevOps | artifact + signed image |
| Test reports | ReportPortal + Allure | QA Automation | unified ingestion |
| Quality data | ClickHouse + PostgreSQL | Platform | metrics warehouse |
| Object store | MinIO (WORM mode) | Platform | immutable evidence |
| Monitoring | Grafana + Prometheus | SRE | read-only datasource |
| Logs | Loki + OTel | SRE | trace correlation |
| Errors | Sentry | SRE + QA | release-level error tracking |
| Synthetic | Grafana Synthetic / k6 Cloud | SRE | continuous PROD smoke |
| Anonymizace | Tonic + vlastní pipeline | Platform + DPO | data pipeline status |
| RAG vector DB | pgvector → Qdrant (scale) | AIE | knowledge over backlog, postmortems |
| Agent runtime | LangGraph | AIE | orchestrace (viz QA přístup §2.3) |
| Tool gateway | MCP Gateway | AIE + SecOps | RBAC, audit, least privilege |
| LLM inference | vLLM | AIE | OpenAI-compat lokální endpoint |
| Workflow (long) | Temporal | Platform | post-MVP scale |
| Notifications | n8n self-hosted | Platform | routing reportů |
5.2 Pravidla pro tooling
- Žádný nový nástroj bez ARCH + SecOps review. Schvaluje HoQ.
- Adapter pattern — výměna toolu (např. Playwright → Cypress) musí být lokalizovaná do 1 adapteru v Quality Studio, ne do 50 testů.
- Test cases žijí v Xray. Quality Studio Xray konzumuje, neobsahuje.
- API kolekce verzované v Gitu (vedle aplikačního kódu).
- JUnit XML → Xray + ReportPortal přes CI/CD vždy.
- SBOM se generuje při každém buildu a ukládá v artifact registry s retencí 3 roky.
- Tools registry update — quarterly review HoQ + SecOps + DevOps.
5.3 Banned / deprecated
- Žádné public LLM API (OpenAI/Anthropic/Google) pro produkční / interní citlivá data bez explicitního schválení DPO + HoQ + SecOps. Default = vLLM lokálně.
- Žádný plaintext secret v Gitu / CI variables. Vault + scoped tokens jen.
- Žádné
latestani^x.y.zsemver tagy v produkční konfiguraci. Pinned versions only.
6. Prostředí
6.1 Environment model
| Prostředí | Účel | Data | Refresh | Přístup |
|---|---|---|---|---|
| LOCAL | Vývojářská izolace | Synthetic / fixture | Per developer | DEV |
| DEV | Integrace developer commits | Synthetic + minimal real shape | Daily | DEV + QA |
| TEST | Funkční + regression + integration | Anonymized PROD subset | Weekly | QA + DEV |
| PREPROD | UAT + perf + security + crypto | Anonymized PROD full | Per release | QA + PO + SEC + SRE |
| PROD | Produkce | Real | n/a | OPS + SRE (write), QA (read only) |
| DR | Disaster recovery | Replicated | Per recovery test | OPS + SRE |
6.2 Pravidla pro prostředí
- Konfigurace odpovídá produkci. PREPROD musí mít identický stack (verze, count, HA), data se liší jen anonymizací.
- Anonymizace TEST/PREPROD je povinná před každým refresh. DPO sign-off + Git tag scriptu, retence 3 roky.
- Žádný PROD secret v non-PROD. Cert chain je vlastní per prostředí; HSM keys nikdy migrovány do non-PROD.
- Refresh DEV daily, TEST weekly, PREPROD per release — automatizovaný pipeline, audit log refresh akce.
- Isolation: Sítě prostředí izolované; integrace s externími systémy přes mock (TEST) nebo sandbox (PREPROD pro ENTSO-E).
- PROD je read-only pro QA. Agenti i lidé. Žádný write přístup z testovacích nástrojů.
6.3 Externí sandboxes
| Externí systém | Sandbox | Vlastník |
|---|---|---|
| ENTSO-E Transparency Platform | TP test environment | ENTSO-E + CEPS DevOps |
| ENTSO-E ECP/EDX | Sandbox per partner | DevOps + SecOps |
| OASYS (interní legacy) | Test instance | Platform team |
| BPM Camunda | Per-process sandbox | BPM team + QA |
7. Test data management
7.1 Strategie dat
| Strategie | Použití | Pro/Con |
|---|---|---|
| Synthetic generation | DEV, část TEST | + bez PII, bez audit zátěže - low realism pro edge cases |
| Anonymized PROD copy | TEST, PREPROD | + realism - vyžaduje anonymizační pipeline + DPO audit |
| Fixtures / golden data | Unit, Component, Integration | + deterministic - maintenance overhead |
| Property-based | Schema + edge cases | + cover-by-design - nestabilní pro UI |
| Shadow traffic | Performance baseline | + production-like - jen čtení, mirroring infra |
7.2 Anonymizace
Detail metodologie v Koncepci testování §5. Master strategie definuje:
- Anonymizační pipeline je verzovaná v Gitu, schvaluje DPO + QA Lead.
- Sign-off před každým refresh povinný (DPO).
- Retence sign-offs 3 roky.
- Periodický audit anonymizace (kvartálně, externí pokud kategorie A).
7.3 Lifecycle
Discovery
└─► fixtures + synthetic plán (Test Strategy per epic, G3)
│
▼
Refinement (DoR)
└─► test data potřeby v AC
│
▼
Development
└─► fixtures v Gitu, synthetic generation
│
▼
TEST refresh
└─► anonymized PROD subset (DPO sign-off, Git tag)
│
▼
PREPROD refresh per release
└─► anonymized PROD full + UAT data set
│
▼
Post-release
└─► retention dle compliance (3-5 let WORM)
8. CI/CD pipeline a 7 gates
Master strategie v2.2 definuje 7 gates v CI/CD pipeline. QA přístup je rozšiřuje na 10 gates přidáním Discovery, DoR a Learning gates.
8.1 7 gates v CI/CD (master baseline)
┌──────────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐
│ MR (Pre-merge│───►│ Build │───►│ CI/DEV │───►│ TEST Exit│
│ Gate 4) │ │ Gate 5 │ │ Gate 6 │ │ Gate 7 │
└──────────────┘ └──────────┘ └──────────┘ └──────────┘
│
▼
┌──────────────┐
│ PREPROD / │
│ Release Gate │
│ Gate 8 │
└──────┬───────┘
│
▼
┌──────────────┐
│ PROD Smoke │
│ Gate 9 │
└──────────────┘
│
▼
┌──────────────┐
│ PROD running │
│ Gate 10 (lrn)│
└──────────────┘
8.2 Gate specifikace
Detailní specifikace per gate (entry, criteria, evidence, schvalovatel, fail action) je v QA přístupu §4.2. Zde shrnutí:
| Gate | Kdy | Vlastník | Klíčová kritéria |
|---|---|---|---|
| G4 MR | Pre-merge | Dev Lead + QA Automation | Lint, unit green, coverage min, SAST OK, code review, secrets clean |
| G5 Build | Po merge | DevOps | Build OK, image build, SCA OK, SBOM, Cosign sign, žádný
latest |
| G6 CI | Auto po deploy DEV | QA + DevOps | Smoke < 10 min 100 % PASS, Pact verify OK, flake retry ≤ 2 |
| G7 TEST Exit | Před deploy PREPROD | QA Lead | Pokrytí UC, regression 100 % PASS, 0 Critical/High, perf baseline, security scan |
| G8 PREPROD/Release | Před PROD | CIO+CAB+HoQ (A), HoQ (B), QAL (C) | UAT 100 % kritických, perf PASS, DAST/Pentest OK, DR PASS, WCAG PASS, crypto PASS, rollback test |
| G9 PROD Smoke | Po PROD deploy | OPS + QA Lead | Smoke < 10 min 100 % PASS, synthetic green 15 min, žádný P1 alert |
| G10 Learning | T+5 dní | QA Lead | PIR napsán, escaped defects → test gap, baseline update, error budget review |
8.3 CI/CD pravidla
- Žádný manual override pipeline gate bez waiveru s explicit autorem + důvodem + expirací.
- Žádný
skip/continue-on-failurev produkční pipeline. Skip jen v explicit testovací větvi s commentem a expirací. - Pipeline as code. YAML v Gitu, code-reviewed jako aplikační kód.
- Pipeline duration < 30 min pro G4+G5+G6 (combined) pro kategorii B/C. Kategorie A může jít 60 min při zařazení perf.
- Pipeline auditability. Každý běh má SHA-256 hash bundle (kód, deps, env, artifact) zaznamenaný v Quality Studio.
9. Test design approach
Detail technik v Koncepci testování §3. Master strategie definuje závazný approach:
9.1 Závazné techniques
| Technique | Použití | Kdy |
|---|---|---|
| Risk-based test design | Allokace úsilí dle Risk Score | Vždy |
| Equivalence Partitioning | Validation, business rules | Unit, Component, Integration |
| Boundary Value Analysis | Numeric/date/string limits | Unit, Component, Integration |
| Decision Table | Multi-condition business logic | Component, Integration |
| State Transition | Workflow, BPM, stateful API | Integration, System |
| Use Case / Scenario-based | E2E flows | System, UAT, E2E |
| BDD (Given/When/Then) | AC + test cases | Refinement → System |
| Pairwise / Combinatorial | Configuration matrix | Compatibility |
| Property-based | Schema, parsers, validators | Component, Integration |
| Exploratory (charter) | Risk-based deep dive | Per release |
| Negative / abuse case | Security mindset | Security, Integration |
9.2 BDD jako sdílený jazyk
- AC v Given/When/Then povinné pro každou story (DoR).
- Test cases odvozené z AC, traceabilita Xray.
- Domain language sdílený mezi PO, QA, DEV —
Glossaryv Confluence per produkt.
9.3 Traceability
Requirement (Jira Epic / Story)
│
▼
Risk (Jira Risk issue type)
│
▼
Test Case (Xray)
│
▼
Test Execution (Xray + Allure)
│
▼
Defect (Jira Bug)
│
▼
Fix + Retest (Jira + Xray re-execution)
│
▼
Evidence (Quality Studio Evidence Browser)
Pravidlo: Pro kategorii A je traceability vyžadována 100 % pro kritické UC. Pro B doporučená. Pro C volitelná.
10. Automation strategy
10.1 Cíle automatizace
| Cíl | Hodnota |
|---|---|
| Automation regrese coverage | > 70 % |
| Flaky rate (CI run) | < 2 % |
| Mean fix time pro flaky | < 5 prac. dní |
| Test PR accepted rate | > 70 % (po stabilní baseline) |
| Test freshness (změna kódu → test update) | < 30 dní |
10.2 Framework pravidla
Detail patterns v Koncepci testování §6. Master strategie definuje:
- Page Object Pattern pro Playwright (FE).
- Repository Pattern pro test data access (BE).
- Fixtures v dedicated module, žádný duplicate setup.
- Test isolation — žádný shared state mezi testy.
- Parallel-safe — testy musí běžet paralelně bez konfliktu.
- Deterministic — žádný
sleep, jen explicit waits / polling s timeout. - Self-cleanup — test, který vytváří entity, je musí uklidit (nebo používat ephemeral fixture).
- Lokalizace v jediném resource souboru, ne hardcoded v test kódu.
10.3 Flaky management
- Detekce: Quality Studio Quality Intelligence Agent + manual flag.
- Quarantine: Po 3× flaky run za 7 dní → quarantine s expirací 5 prac. dní.
- Fix mandatory: Quarantine > 5 dní = block release pro test owner.
- Audit: Quarantine list je veřejně viditelný v Quality Studio Dashboard.
11. Specializované testovací domény
Detail metodologie v Koncepci testování §7-§11. Master strategie definuje scope a vlastníky:
11.1 Performance
- Profily: Load (cílová zátěž), Stress (bod zlomu), Soak (24h+ stabilita), Spike (rychlý nárůst), Capacity (sizing).
- Vlastník: QA + SRE.
- Nástroj: k6 primární, JMeter pro legacy.
- Frekvence: Per release A; kvartálně Stress + Capacity; per release B pokud relevantní.
- Baseline storage: Confluence + Git, retence trvale (regression analysis).
11.2 Security
- Layers: SAST (per commit), SCA (per build), Container (per build), DAST (per release), Pentest (ročně / change A).
- Vlastník: SecOps; DEV implementuje fix.
- Threat modeling: OWASP Threat Dragon / IriusRisk, mandatory per epic kategorie A.
- CVE response SLA: Critical → fix do 48h, High → 7 dní, Medium → 30 dní.
11.3 Accessibility
- Standard: WCAG 2.1 AA.
- Vlastník: QA + UX.
- Nástroj: axe-core + Lighthouse + manual.
- Frekvence: Per UI release.
- Compliance: zák. 99/2019 Sb. pro public/employee UI.
11.4 Crypto / PKI
- Scope: TLS verze a ciphers, cert lifecycle (OCSP/CRL), mTLS, HSM key rotation, encryption at-rest a in-transit.
- Vlastník: DevSecOps + SecOps.
- Nástroj: testssl.sh + custom scripts + HSM management tooling.
- Frekvence: Per release A + měsíčně periodic scan.
11.5 DR / Resilience
- Scope: Backup restore, failover, full DR drill, chaos.
- Vlastník: OPS + SRE + QA.
- Frekvence:
- Backup restore: měsíčně.
- Failover komponentový: kvartálně.
- Full DR drill: pololetně.
- Chaos engineering: ročně + při změně HA.
- RTO / RPO: Per system v Risk register; measurement při každém drill.
11.6 AI/ML eval
- Scope: Model regression, drift detection, eval harness.
- Vlastník: AIE + QA.
- Frekvence: Per model deploy + týdně drift check pro produkční modely.
- Out of scope tohoto dokumentu: AI governance policy (samostatný dokument).
12. Role a RACI
12.1 Rozšířená RACI tabulka
| Fáze | HoQ | PO | PM | ARCH | DEVL | QAL | QA | QAA | DEVOPS | SRE | SEC | DPO | AIE |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Test Policy ownership | A/R | I | I | C | C | C | I | I | I | I | C | C | I |
| Master strategy ownership | A | C | C | C | C | R | C | C | C | C | C | C | C |
| Test Plan per release | I | C | C | C | C | A/R | R | C | I | I | C | I | I |
| Test Strategy per epic | I | C | I | C | C | A | R (QA Architect) | C | I | I | C | I | I |
| DoR | I | A | I | I | C | R | C | I | I | I | I | I | I |
| DoD | I | I | I | I | A | R | R | C | C | I | C | I | I |
| DoX (Released) | A | C | C | I | I | R | R | I | C | C | C | I | I |
| MR review | I | I | I | I | A | C | C | R | I | I | C | I | C |
| Unit testy | I | I | I | I | C | C | C | C | I | I | I | I | I |
| Component testy | I | I | I | I | C | R | A | R | I | I | I | I | I |
| Integration / Contract | I | I | I | C | C | R | A | R | I | I | I | I | I |
| System / E2E | I | C | I | C | I | A | R | R | I | I | I | I | I |
| UAT | I | A | C | I | I | R | C | I | I | I | I | I | I |
| Performance | I | I | I | I | I | R | C | C | I | A | I | I | I |
| Security | I | I | I | C | I | C | I | I | C | I | A/R | C | I |
| Accessibility | I | C | I | I | I | R | A | C | I | I | I | I | I |
| Crypto/PKI | I | I | I | C | I | C | I | I | A (DevSecOps) | C | R | I | I |
| DR drill | I | I | C | I | I | C | C | I | C | A/R | C | I | I |
| Chaos engineering | I | I | I | C | C | C | C | C | C | A | R | I | I |
| Anonymization pipeline | I | I | I | I | I | C | C | I | R | I | C | A | I |
| Toolchain governance | A | I | I | R | C | R | C | C | R | C | R | C | C |
| Agent runtime governance | A | I | I | C | I | R | I | I | C | I | R | I | R |
| PIR (Post-Implementation Review) | I | C | C | I | C | A/R | R | I | I | R | C | I | C |
| Annual Quality Board review | A/R | C | I | C | I | R | I | I | I | I | C | C | I |
Detail RACI per quality gate je v QA přístupu §6.2.
12.2 Konflikt v RACI
Pokud dvě role nárokují A (accountable) pro stejnou
aktivitu, rozhoduje HoQ. Pokud HoQ je strana sporu,
Quality Board.
13. Defect management
13.1 Severity vs. Priority
Severity = technický dopad chyby
Priority = business naléhavost opravy
Severity Critical: ztráta dat / bezpečnost / total down
Severity High: hlavní funkčnost narušena, workaround neexistuje
Severity Medium: funkčnost narušena, workaround existuje
Severity Low: kosmetické, malý dopad
Severity Trivial: typo, drobnost
Priority P0: blocker pro release / production incident
Priority P1: must-fix v aktuálním sprintu
Priority P2: fix v dalším sprintu
Priority P3: backlog
13.2 Defect lifecycle
┌──────────────┐
│ New │ vytvořen QA / agent / customer
└──────┬───────┘
│ triage QA Lead / PM
▼
┌──────────────┐
│ Triaged │ severity + priority + assignee
└──────┬───────┘
│
▼
┌──────────────┐ ┌──────────────┐
│ Open │────────►│ Won't Fix │ s odůvodněním + waiver
└──────┬───────┘ └──────────────┘
│
▼
┌──────────────┐
│ In Progress │
└──────┬───────┘
│
▼
┌──────────────┐
│ Code Review │
└──────┬───────┘
│
▼
┌──────────────┐
│ Fixed │ merged
└──────┬───────┘
│ retest QA
▼
┌──────────────┐ ┌──────────────┐
│ Retest PASS │────────►│ Reopen │ zpět do Open
└──────┬───────┘ └──────────────┘
│
▼
┌──────────────┐
│ Closed │ PROD validation
└──────────────┘
13.3 RCA (Root Cause Analysis)
- Vyžadováno pro každý P0/P1 defekt.
- Volitelné pro P2 (ad-hoc dle vzoru).
- 5 Whys + Fishbone + technical write-up.
- Output: Action items v test gap backlogu (G10 Learning Gate).
13.4 Gate kritéria per kategorie
| Defekt | A — gate G7 | B — gate G7 | C — gate G7 |
|---|---|---|---|
| Critical (Severity) | 0 | 0 | 0 |
| High | 0 | 0 | 0 |
| Medium otevřené | max 5 | max 10 | max 10 |
| Low | bez limitu | bez limitu | bez limitu |
| Waiver vyžadován pro Medium | ano (> limit) | ano (> limit) | ano (> limit) |
14. Reporting a evidence
14.1 Reporting layers
┌────────────────────────────────────────────────────────┐
│ Strategic — Quality Board monthly │
│ KPI dashboard (TMMi, escaped defects, DRE, lead time) │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Tactical — Weekly QA Report │
│ Sprint progress, blocked stories, gate fails, risks │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Operational — daily standup + Quality Studio dashboard │
│ CI flake rate, regression status, defect inflow │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Release — Release Evidence Pack + Go-Live record │
│ All gates, all evidence, SHA-256, WORM │
└────────────────────────────────────────────────────────┘
14.2 Release Evidence Pack
Plný obsah v QA přístupu Příloha B. Master strategie definuje:
- Auto-generovaný Quality Studiem.
- Immutable (WORM, retention 5 let A, 3 roky B, 1 rok C).
- SHA-256 hash v Go-Live zápisu.
- Audit-ready do 24h od žádosti.
14.3 Evidence retention
| Typ | Retence | Storage |
|---|---|---|
| QA Gate Records | 5 let | WORM (MinIO) |
| Release Evidence Pack | 5/3/1 let dle kategorie | WORM |
| SBOM per build | 3 roky | Artifact registry |
| Pentest reports | 5 let | WORM |
| Audit logs (agent runs) | 3 roky | ClickHouse + WORM |
| Test execution evidence | 3 roky | Allure + WORM |
| Anonymization sign-offs | 3 roky | DPO storage |
| Performance baseline | Trvale | Confluence + Git |
| PIR reports | 3 roky | Confluence + WORM |
| Risk & Waiver register | Trvale | Quality Studio |
15. Compliance overlay
Kompletní mapování v QA přístupu §9. Master strategie definuje scope:
| Regulace | Klíčové povinnosti vynucené testováním |
|---|---|
| NIS2 | Audit logging, incident drill (NÚKIB), supply chain (SBOM), continuity testing, 24h early warning |
| ZKB 264/2025 | Pentest ročně + při změně, ISMS audit, SoD test, backup integrity, crypto/TLS |
| GDPR | Anonymizace, DSAR, audit přístupu PII, right to be forgotten |
| ENTSO-E | TP sandbox, ECP/EDX mTLS, CIM compliance |
| WCAG 2.1 AA (zák. 99/2019) | Public/employee UI per release |
Princip: Compliance je vynuceno gates (G7/G8/G10), ne jen mapováno v dokumentaci.
16. Release model
16.1 Release cadence
| Kategorie | Cadence | Rationale |
|---|---|---|
| A | Trunk-based + release branch per release, ≥ 1×/Q | Stabilita kritické infra; nárazové změny mají rizikové okno |
| B | ≥ 1×/týden | Balance rychlosti a stability |
| C | Continuous deployment (po G6 pass) | Low risk, fast feedback |
16.2 Release flow
Sprint commit
│
▼
G4-G6 (Pre-merge → Build → CI)
│
▼
Deploy do TEST (auto)
│
▼
G7 TEST Exit Gate (QA Lead approval)
│
▼
Deploy do PREPROD
│
▼
UAT + Perf + Security + Crypto + DR + WCAG
│
▼
G8 PREPROD/Release Gate
│
│ kategorie A: CIO + CAB + HoQ + PO
│ kategorie B: HoQ + PO
│ kategorie C: QA Lead
│
▼
Deploy do PROD
│
▼
G9 PROD Smoke Gate (OPS + QA Lead)
│
▼
PROD running
│
▼ T+5 dní
G10 Learning Gate (PIR, retro, test gap)
16.3 Hotfix flow
- Hotfix branch z release tagu.
- Lite gate set: G4 (MR) + G5 (Build) + G7 lite + G8 lite.
- Required: SAST/SCA, smoke, perf delta (musí být ≤ baseline).
- Schvaluje: CIO + HoQ pro kategorii A; HoQ pro B; QA Lead pro C.
- PIR povinný (i pro hotfix).
16.4 Rollback
- Rollback plán je součástí každého release pack (povinné).
- Automatický rollback při G9 fail (do 5 min od deploy).
- Manuální rollback s evidencí + decision log.
- Rollback test v PREPROD jako součást G8 (kategorie A).
17. Test Plan per release
17.1 Účel Test Plánu
Test Plan per release říká CO se v tomto konkrétním releasu testuje, na rozdíl od:
- Test Policy = PROČ.
- Master strategie = JAK obecně.
- Koncepce testování = JAK konkrétní metodikou.
- Test Plan = CO v tomto releasu.
17.2 Vlastník
QA Lead (per release).
17.3 Schvalovatelé
- Kategorie A: QA Lead + PO + ARCH + HoQ (info).
- Kategorie B: QA Lead + PO.
- Kategorie C: QA Lead.
17.4 Šablona Test Plánu
TEST PLAN — Release {ID} — {název} — {datum}
═══════════════════════════════════════════════════════════════
1. METADATA
- Release ID:
- Kategorie projektu: A | B | C
- Datum cíl Go-Live:
- Test Plan vlastník:
- Schvalovatelé:
2. SCOPE
- In scope: {epics, stories, integrace}
- Out of scope: {explicit boundaries}
- Dependencies: {externí systémy, sandboxes, partneri}
3. APPROACH
- Test levels: {Unit/Component/Integration/System/UAT/E2E/Operational}
- Test types: {z 40 typů — co se použije}
- Risk-based prioritization: {top 5 rizik per epic + RS}
4. ENVIRONMENT & DATA
- TEST refresh datum:
- PREPROD refresh datum:
- Test data strategy: {synthetic / anonymized / fixtures}
- DPO sign-off: {odkaz}
5. ENTRY/EXIT KRITÉRIA
- Entry to G7: {konkrétní hodnoty}
- Exit from G7 (PREPROD entry): {konkrétní hodnoty}
- Exit from G8 (PROD entry): {konkrétní hodnoty}
6. SCHEDULE
- Test design: {datum}
- Test execution: {datum-datum}
- UAT: {datum-datum}
- Performance window: {datum}
- Security/DAST window: {datum}
- Crypto/PKI window: {datum}
- DR drill (pokud release-time): {datum}
7. RESOURCES
- QA Lead:
- QA Engineers:
- QA Automation:
- SecOps:
- SRE:
- PO:
- External vendors:
8. RISKS
- Risk 1: {popis, RS, mitigace, owner}
- Risk 2: ...
9. METRICS & REPORTING
- Daily report: Quality Studio dashboard link
- Weekly report: Confluence link
- Defect SLA: P0 fix 24h, P1 fix 3 dny, P2 fix per sprint
- Pass rate targets: regression ≥ 98 %, smoke 100 %
10. APPROVALS
QA Lead: ________________ Datum: _________
PO: ________________ Datum: _________
ARCH (A): ________________ Datum: _________
18. Externí dodavatelé
18.1 Smluvní závazek
Externí dodavatelé musí přijmout:
- Test Policy + tato Master strategie v rozsahu díla.
- Definition of Ready / Done / Released checklisty.
- Release Evidence Pack dodavací povinnost.
- PIR účast T+5 dní.
- Compliance (NIS2 supply chain, GDPR jako processor).
- Audit-ready evidence do 24h.
18.2 Acceptance testy CEPS
CEPS provádí vlastní acceptance testy dodavatelského release:
- Kategorie A: Full G7 + G8 v CEPS prostředí.
- Kategorie B: G7 + lite G8.
- Kategorie C: Smoke + UAT key flows.
18.3 Dodavatelská quality clauses
| Klausule | Obsah |
|---|---|
| Right to audit | CEPS může kdykoliv auditovat dodavatelské QA procesy. |
| Right to interview | CEPS může pohovořit s konkrétními QA pracovníky dodavatele. |
| Tooling alignment | Dodavatel používá CEPS-approved toolchain (§5.1) nebo doloží ekvivalenci. |
| No public LLM with CEPS data | Vyžadováno smluvně. |
| Subdodavatel disclosure | Žádný subdodavatel bez schválení CEPS. |
| SBOM dodávky | Dodavatel dodává SBOM se signed image. |
| Pentest před akceptací | Kategorie A — externí pentest na náklady dodavatele. |
19. KPI a metriky
19.1 Leading indicators (per gate)
Plný seznam v QA přístupu §8.1. Master strategie definuje klíčové:
| Metrika | Cíl | Vlastník |
|---|---|---|
| DoR pass rate | > 90 % | PO + QA Lead |
| MR rework rate | < 30 % | Dev Lead |
| SAST Critical merged | 0 | SecOps |
| CI flake rate | < 2 % | QA Automation |
| CI duration | < 30 min (B/C), < 60 min (A) | DevOps |
| Defect leakage TEST→PREPROD | < 5 % | QA Lead |
| Regression suite pass rate | > 98 % | QA |
| Release gate pass bez waiveru | > 80 % | HoQ |
| Auto-rollback rate | < 5 % releasů | SRE |
19.2 Lagging indicators
| KPI | Cíl | Měření | Vlastník |
|---|---|---|---|
| Defect Removal Efficiency (DRE) | > 95 % | (1 - DefectLeakage) × 100 | QA Lead |
| MTTR P1 | < 4h | Jira + monitoring | SRE |
| Change Failure Rate | < 10 % | Jira | PM |
| Deployment Frequency | ≥ 1×/týden (B/C), ≥ 1×/Q (A) | GitLab | DevOps |
| Lead Time commit→PROD (A) | < 15 dní | GitLab + Jira | PM |
| Automation coverage (regrese) | > 70 % | Xray | QA Automation |
| Code coverage (A) | ≥ 80 % | SonarQube | Dev Lead |
| Requirements coverage (kritické UC) | 100 % | Xray traceability | QA Lead |
| Risk-weighted coverage | > 90 % pro Risk 10+ | Quality Studio | QA Architect |
| Test freshness | < 30 dní od změny kódu | Quality Studio | Test Builder Agent |
| Agent precision | > 80 % findings potvrzeno člověkem | Evidence store | AI engineer |
| Accepted test PR rate | > 70 % bez zásadní revize | GitLab | QA Automation |
| Quality Gate pass rate (overall) | > 85 % bez waiveru | Quality Studio | HoQ |
| Escaped defects per release (A) | < 3 | Quality Studio | QA Lead |
| Escaped defects per release (B) | < 5 | Quality Studio | QA Lead |
| Escaped defects per release (C) | < 10 | Quality Studio | QA Lead |
19.3 Audit
- Quarterly KPI review Quality Boardem.
- Annual TMMi assessment externí.
- Compliance audit dle regulace (NIS2 externí, ZKB ISMS externí).
20. Risk management
20.1 Risk register
- Forma: Jira Risk issue type.
- Pole: Description, Impact (1-5), Probability (1-5), Risk Score (auto), Owner, Mitigation, Triggers, Review date.
- Update cadence: Per release minimum + ad-hoc.
20.2 Waiver workflow
Risk identifikováno
│
▼
Risk Score calculated (Impact × Probability)
│
▼
Mitigation hledána
│
├─► Mitigation existuje → tracked, no waiver needed
│
└─► Mitigation neexistuje / neproveditelná
│
▼
Waiver request s expirací + trigger pro re-evaluaci
│
▼
Schvaluje (dle §6.3 Test Policy):
RS 1-4: QA Lead
RS 5-9: QA Lead + PM
RS 10-15: QA Lead + PM + HoQ
RS 16-20: + CIO/COO
RS 21-25: + Quality Board
│
▼
Waiver evidence v Quality Studio Risk & Waiver Center
│
▼
Expirace dohlížena n8n notifikací
20.3 Trigger pro re-evaluaci
Mandatory triggers (i před expirací):
- Změna v dotčeném systému / kódu.
- Související incident v PROD.
- Změna regulace.
- Změna kategorie projektu.
21. Maturity model — TMMi
21.1 Cíle
| Rok | TMMi level | Klíčové KPA (Key Process Areas) |
|---|---|---|
| 2026 | L2 → L3 transition + plný L3 do konce roku | L3: Test Organization, Test Training, Test Lifecycle, Non-functional Testing, Peer Reviews |
| 2027 | L4 | L4: Test Measurement, Product Quality Evaluation, Advanced Reviews |
| 2028+ | L5 (volitelné) | L5: Defect Prevention, Test Process Optimization, Quality Control |
21.2 Roadmap
Detail v QA přístupu §10. Master strategie definuje fáze:
F0 Scope & governance 2-3 týdny
F1 Process baseline 4-6 týdnů
F2 Quality Studio MVP 6-8 týdnů
F3 Agentic MVP 6-8 týdnů
F4 Security & NFR agents 6-8 týdnů
F5 Prod Sentinel + scale 4-6 týdnů
Celkem F0-F5: 6-8 měsíců. Měřitelná hodnota od F1.
22. Životní cyklus strategie
22.1 Annual review
- Datum: Do 31. 1. každého roku.
- Vlastník: HoQ.
- Vstupy: Quality Board KPI, TMMi assessment, incident learning, regulatorní změny.
- Výstup: Updated Master strategie verze nebo potvrzení beze změny.
22.2 Ad-hoc update
Vyžadovaný při:
- Změně Test Policy (master strategie aligní).
- Změně toolchainu významného rozsahu.
- Změně organizace / role.
- Quality Board rozhodnutí.
22.3 Changelog
| Verze | Datum | Autor | Změna | Schvalovatel |
|---|---|---|---|---|
| 2.0 | 2024-09-01 | HoQ | Initial release v2.0 | Quality Board |
| 2.1 | 2025-09-01 | HoQ | + ENTSO-E ECP/EDX, + ZKB 264/2025 alignment | Quality Board |
| 2.2 | 2026-05-22 | HoQ | + Vztah k QA přístupu (10 gates), + Quality Studio, + Agentic layer, + DoX | Quality Board (pending) |
23. Schválení
Master testovací strategie CEPS HUB v2.2 — Quality Board approval
═══════════════════════════════════════════════════════════════
CIO: _________________________ Datum: __________
COO: _________________________ Datum: __________
Head of Quality: _________________________ Datum: __________
Head of Operations: _________________________ Datum: __________
Head of SecOps: _________________________ Datum: __________
Head of DevOps / SRE: _________________________ Datum: __________
DPO: _________________________ Datum: __________
QA Lead: _________________________ Datum: __________
Příloha A — Glosář (sdílený s Test Policy)
Viz Test Policy Příloha A (sdílený glosář pro celý rámec) a QA přístup Příloha C (rozšíření o agentic terminologii).
Příloha B — Reference
- Test Policy CEPS HUB v1.0
(
03-test-policy.md) - QA přístup CEPS HUB (master)
(
00-QA-pristup-master.md) - Koncepce testování CEPS HUB
(
02-testing-koncepce.md) - Executive summary
(
01-executive-summary.md) - TMMi Foundation reference (https://www.tmmi.org)
- ISO/IEC/IEEE 29119 (Software Testing)
- ISTQB Foundation + Advanced syllabi
- OWASP ASVS, OWASP Testing Guide
- WCAG 2.1 AA standard
- ENTSO-E Common Information Model, Transparency Platform spec, ECP/EDX
Konec Master testovací strategie CEPS HUB v2.2.