Master testovací strategie CEPS HUB v2.2

Verze: 2.2 · Stav: ke schválení Quality boardem Vlastník: Head of Quality (HoQ) · Schvalovatelé: CIO, COO, HoQ, Head of Operations, Head of SecOps, Head of DevOps/SRE Účinnost: od schválení Quality boardem Klasifikace: Interní Cyklus přezkoumání: Ročně + ad-hoc při změně Test Policy

Vztah k ostatním dokumentům:

  • Test Policy (03-test-policy.md) definuje PROČ testujeme — mandát, principy, hranice, schvalovací autorita
  • Master strategie (tento dokument) definuje JAK testujeme procesně — úrovně, typy, tooling, prostředí, RACI, KPI
  • QA přístup CEPS HUB (master) (00-QA-pristup-master.md) rozšiřuje tuto strategii o 10 quality gates napříč SDLC a třívrstvý operační model
  • Koncepce testování (02-testing-koncepce.md) rozpadá strategii do metodologie — 40 typů testů, techniques, automation framework, perf/security/a11y/crypto
  • Test Plan (per release) říká CO se v konkrétním releasu testuje (šablona v §17.4)

0. TL;DR

Co tato strategie definuje:

  1. Cíle testování a měřitelné KPI (escaped defects, DRE, MTTR, lead time, coverage).
  2. Kategorizace projektů A/B/C s důsledky na úsilí, gate, schvalování.
  3. Testovací úrovně (Unit → Component → Integration → System → UAT → E2E → Operational).
  4. Typy testů (přehled 40 typů, detail v Koncepci testování §1).
  5. Toolchain registry (autoritativní seznam s rolemi adapter).
  6. Prostředí (DEV / TEST / PREPROD / PROD) s pravidly přístupu, dat, refresh.
  7. Test data management (synthetic, anonymizace, fixtures, retention).
  8. 7-gate CI/CD model (rozšířený v QA přístupu na 10 gates).
  9. Test design approach (risk-based, BDD, EP/BVA, exploratory).
  10. Automation strategy (pyramida, framework patterns, flaky management).
  11. RACI napříč rolemi a fázemi.
  12. Defect management (severity/priority, lifecycle, RCA).
  13. Reporting & evidence (Allure, ReportPortal, Grafana, Release Evidence Pack).
  14. Compliance overlay (NIS2, ZKB, GDPR, ENTSO-E, accessibility).
  15. Release model (sprint → release branch → CAB → Go-Live → PIR).
  16. TMMi maturity model (cíl L3 v 2026, L4 v 2027).

Co tato strategie NEDEFINUJE:


1. Účel a scope

1.1 Účel

Master strategie je procesní rámec pro testování v CEPS HUB. Stanovuje:

1.2 Scope

Tato strategie pokrývá veškerý vývoj a údržbu CEPS HUB systémů — interní vývoj, externí dodávky, akvizice / outsourcing. Platí pro:

1.3 Co tato strategie pokrývá nepřímo

1.4 Závaznost

Strategie je závazná pro všechny CEPS zaměstnance a externí dodavatele zapojené do CEPS HUB. Výjimky vyžadují waiver dle Test Policy §6.3 a Master strategie §20.


2. Cíle testování

2.1 Strategické cíle 2026-2027

Cíl Měření Stav 2026 Cíl 2027
TMMi maturity externí assessment L2 L3 (2026), L4 (2027)
Escaped defects per release release tracking 8-12 < 5
Defect Removal Efficiency (1 - leakage) × 100 ~85 % > 95 %
Quality Gate pass bez waiveru Quality Studio netracking > 85 %
Lead time commit → PROD (A) GitLab + Jira 25-30 dní < 15 dní
Audit-ready evidence response manual stopwatch hodiny-dny < 24h
Risk-weighted coverage (A) Quality Studio netracking > 90 %
Automation regrese coverage Xray netracking > 70 %

2.2 Operativní cíle

2.3 Co cíle nemají dělat


3. Kategorizace projektů (A/B/C)

Kategorizace je převzata z Test Policy §4, kde je autoritativní definice. Master strategie definuje procesní důsledky.

3.1 Procesní matrix

Aspekt A B C
Test Plan povinný Před G7 Před G7 Doporučený
Test Strategy per epic (G3) Vždy Pro nové integrace Volitelně
Code coverage minimum 80 % 70 % 60 %
Branch coverage A: kritické moduly 90 % - -
MR reviewers 2 1 1
Regression suite execution 100 % + manual 100 % 80 %
Performance baseline Povinné Pokud relevantní Není
Pentest Ročně + při změně Při významné změně Není
DR drill Pololetně full + měsíčně backup Ročně Není
Crypto/PKI test Per release + měsíčně Per release Pokud relevantní
Accessibility WCAG 2.1 AA Public + employee UI Public UI Doporučeno
Chaos engineering Ročně + při změně HA Při změně HA Není
Quality Studio dashboard mandatory Vždy Vždy Volitelně
Release Evidence Pack Vždy WORM Vždy WORM Vždy WORM
Evidence retention 5 let 3 roky 1 rok
Go-Live autorita CIO + CAB + HoQ + PO HoQ + PO QA Lead
Waiver default expirace 30 dní 90 dní 180 dní

3.2 Smíšené projekty

Pokud projekt obsahuje moduly různých kategorií, nejvyšší kategorie vyhrává pro:

Nižší kategorie modulů může mít light approach pro vlastní testování (méně reviewerů, nižší coverage), ale release jako celek se chová podle nejvyšší kategorie.


4. Testovací úrovně a typy

4.1 Úrovně testování

                                                ┌─────────────────┐
                                          ┌────►│  Operational    │  PROD smoke, synthetic
                                          │     └─────────────────┘
                              ┌─────────────────┐
                          ┌──►│  UAT / Business │  PREPROD, business akceptace
                          │   └─────────────────┘
                 ┌─────────────────┐
             ┌──►│  System / E2E   │  TEST/PREPROD, kritické flows
             │   └─────────────────┘
   ┌─────────────────┐
  ┌►│  Integration    │  CI, service-to-service
  │ └─────────────────┘
┌─────────────────┐
│  Component      │  CI, izolovaná komponenta s mocky
└─────────────────┘
┌─────────────────┐
│  Unit           │  Build, izolovaná logika
└─────────────────┘

4.2 Typy testů — přehled

Plná taxonomie 40 typů je v Koncepci testování §1. Master strategie eviduje rodiny:

Rodina Co obsahuje Kdy plánovat
Functional Unit, Component, Integration, System, E2E, UAT, Smoke, Regression, Negative Každá release
Contract Pact Provider, Pact Consumer, OpenAPI Schema Per change v API
Performance Load, Stress, Soak, Spike, Capacity Per release A, kvartálně B
Security SAST, SCA, DAST, IAST, Container, SBOM, Secrets, Pentest Per commit / build / release / ročně
Crypto/PKI TLS, Cert lifecycle, mTLS, HSM rotation, Encryption Per release + měsíčně
Accessibility WCAG 2.1 AA (axe-core + manual) Per release UI
Visual Visual regression (Playwright + pixelmatch) Per release UI
Compatibility Browser matrix, mobile, OS Per release UI
Reliability DR backup restore, DR failover, DR full drill, Chaos Měsíčně / Q / Pololetně / Ročně
Data Quality Migration validation, anonymization audit Per migrace + per refresh
Compliance NIS2/ZKB/GDPR/ENTSO-E checklists Per release
Exploratory Charter-based session Per release
AI/ML eval Model regression, drift, eval harness Per model deploy

4.3 Pyramida & vážení (cílový poměr)

                  ╱──────╲          Exploratory + UAT (5-8 %)
                 ╱  Manual ╲
                ╱───────────╲
               ╱   E2E auto  ╲       E2E (8-12 %)
              ╱  (Playwright) ╲
             ╱─────────────────╲
            ╱  Integration + API ╲   Integration + Contract (20-25 %)
           ╱  (Pact, Schemathesis)╲
          ╱───────────────────────╲
         ╱  Component + WireMock   ╲ Component (15-20 %)
        ╱                           ╲
       ╱─────────────────────────────╲
      ╱       Unit tests               ╲ Unit (40-55 %)
     ╱                                  ╲
    ╱───────────────────────────────────╲

Transverzální vrstvy (běží paralelně, mimo pyramidu):

4.4 Risk-based prioritization

Risk Score = Impact × Probability    (každé 1-5, score 1-25)

Impact:
  1 = lokální dopad, žádná regulace
  2 = team-level impact, snadné workaround
  3 = service-level impact, business workaround
  4 = systémový dopad, NIS2 important entity zóna
  5 = kritický dopad, NIS2 essential entity, NÚKIB 24h reporting

Probability:
  1 = velmi vzácně (raz/rok)
  2 = občas (raz/Q)
  3 = pravidelně (raz/měs)
  4 = často (raz/týden)
  5 = velmi často (denně+)

Důsledky pro testovací úsilí:

Risk Score Testovací hloubka
1-4 Smoke + happy path automation
5-9 + Negative + boundary + EP/BVA
10-15 + Exploratory + performance baseline + security scan
16-20 + Pentest scope + chaos scenario + DR drill
21-25 Stop-the-line: Quality Board review, nemusí být schváleno k vývoji bez mitigation plánu

5. Toolchain registry

5.1 Autoritativní seznam (Tool Registry)

Tato sekce je autoritativní zdroj toolchainu. Quality Studio (viz QA přístup §2.2 a §7.1) ji čte a obohacuje o adapter status, verze, health.

Oblast Tool Vlastník Adapter v Quality Studio
Test management Xray (Jira plugin) QA Lead konzumuje + obohacuje
Bug tracking Jira PM custom fields wrapper
API testing Postman + Newman QA execution adapter
API testing CI pytest + requests / httpx QA + DEV native
Schema validation Schemathesis QA property-based runner
UI E2E Playwright QA Automation suite configurator + browser matrix
Mobile E2E Appium / Maestro QA Automation adapter (volitelně Maestro pro flowy)
Visual regression Playwright + pixelmatch QA Automation snapshot store + diff viewer
Accessibility axe-core + Lighthouse QA + UX release gate + report aggregation
Performance k6 QA + SRE profile manager + threshold parser
Performance (legacy) JMeter QA execution adapter
SAST SonarQube + Semgrep SecOps thresholds + gate enforcement
DAST OWASP ZAP SecOps scan profile + finding mapping
SCA Snyk + Trivy SecOps CVE thresholds, SBOM verification
Container scanning Trivy / Grype DevOps + SecOps image scan, build gate
SBOM Trivy / Syft DevOps generated per build, retention
Image signing Cosign DevOps sign + verify in pipeline
Secrets detection gitleaks DevOps + SecOps pre-commit + CI hard block
Threat modeling OWASP Threat Dragon / IriusRisk SecOps reference (mimo Quality Studio)
TLS/crypto testssl.sh DevSecOps scheduled scan + cert inventory
Mock servers WireMock DEV + QA service virtualization
Contract testing Pact DEV + QA broker integration
Chaos Litmus / Chaos Mesh DEV + OPS + QA scenario whitelist + isolated cluster
CI/CD GitLab CI DevOps primary executor
Container registry GitLab Container Registry DevOps artifact + signed image
Test reports ReportPortal + Allure QA Automation unified ingestion
Quality data ClickHouse + PostgreSQL Platform metrics warehouse
Object store MinIO (WORM mode) Platform immutable evidence
Monitoring Grafana + Prometheus SRE read-only datasource
Logs Loki + OTel SRE trace correlation
Errors Sentry SRE + QA release-level error tracking
Synthetic Grafana Synthetic / k6 Cloud SRE continuous PROD smoke
Anonymizace Tonic + vlastní pipeline Platform + DPO data pipeline status
RAG vector DB pgvector → Qdrant (scale) AIE knowledge over backlog, postmortems
Agent runtime LangGraph AIE orchestrace (viz QA přístup §2.3)
Tool gateway MCP Gateway AIE + SecOps RBAC, audit, least privilege
LLM inference vLLM AIE OpenAI-compat lokální endpoint
Workflow (long) Temporal Platform post-MVP scale
Notifications n8n self-hosted Platform routing reportů

5.2 Pravidla pro tooling

5.3 Banned / deprecated


6. Prostředí

6.1 Environment model

Prostředí Účel Data Refresh Přístup
LOCAL Vývojářská izolace Synthetic / fixture Per developer DEV
DEV Integrace developer commits Synthetic + minimal real shape Daily DEV + QA
TEST Funkční + regression + integration Anonymized PROD subset Weekly QA + DEV
PREPROD UAT + perf + security + crypto Anonymized PROD full Per release QA + PO + SEC + SRE
PROD Produkce Real n/a OPS + SRE (write), QA (read only)
DR Disaster recovery Replicated Per recovery test OPS + SRE

6.2 Pravidla pro prostředí

6.3 Externí sandboxes

Externí systém Sandbox Vlastník
ENTSO-E Transparency Platform TP test environment ENTSO-E + CEPS DevOps
ENTSO-E ECP/EDX Sandbox per partner DevOps + SecOps
OASYS (interní legacy) Test instance Platform team
BPM Camunda Per-process sandbox BPM team + QA

7. Test data management

7.1 Strategie dat

Strategie Použití Pro/Con
Synthetic generation DEV, část TEST + bez PII, bez audit zátěže
- low realism pro edge cases
Anonymized PROD copy TEST, PREPROD + realism
- vyžaduje anonymizační pipeline + DPO audit
Fixtures / golden data Unit, Component, Integration + deterministic
- maintenance overhead
Property-based Schema + edge cases + cover-by-design
- nestabilní pro UI
Shadow traffic Performance baseline + production-like
- jen čtení, mirroring infra

7.2 Anonymizace

Detail metodologie v Koncepci testování §5. Master strategie definuje:

7.3 Lifecycle

Discovery
  └─► fixtures + synthetic plán (Test Strategy per epic, G3)
        │
        ▼
Refinement (DoR)
  └─► test data potřeby v AC
        │
        ▼
Development
  └─► fixtures v Gitu, synthetic generation
        │
        ▼
TEST refresh
  └─► anonymized PROD subset (DPO sign-off, Git tag)
        │
        ▼
PREPROD refresh per release
  └─► anonymized PROD full + UAT data set
        │
        ▼
Post-release
  └─► retention dle compliance (3-5 let WORM)

8. CI/CD pipeline a 7 gates

Master strategie v2.2 definuje 7 gates v CI/CD pipeline. QA přístup je rozšiřuje na 10 gates přidáním Discovery, DoR a Learning gates.

8.1 7 gates v CI/CD (master baseline)

┌──────────────┐    ┌──────────┐    ┌──────────┐    ┌──────────┐
│ MR (Pre-merge│───►│ Build    │───►│ CI/DEV   │───►│ TEST Exit│
│ Gate 4)      │    │ Gate 5   │    │ Gate 6   │    │ Gate 7   │
└──────────────┘    └──────────┘    └──────────┘    └──────────┘
                                                         │
                                                         ▼
                                                  ┌──────────────┐
                                                  │ PREPROD /    │
                                                  │ Release Gate │
                                                  │ Gate 8       │
                                                  └──────┬───────┘
                                                         │
                                                         ▼
                                                  ┌──────────────┐
                                                  │ PROD Smoke   │
                                                  │ Gate 9       │
                                                  └──────────────┘
                                                         │
                                                         ▼
                                                  ┌──────────────┐
                                                  │ PROD running │
                                                  │ Gate 10 (lrn)│
                                                  └──────────────┘

8.2 Gate specifikace

Detailní specifikace per gate (entry, criteria, evidence, schvalovatel, fail action) je v QA přístupu §4.2. Zde shrnutí:

Gate Kdy Vlastník Klíčová kritéria
G4 MR Pre-merge Dev Lead + QA Automation Lint, unit green, coverage min, SAST OK, code review, secrets clean
G5 Build Po merge DevOps Build OK, image build, SCA OK, SBOM, Cosign sign, žádný latest
G6 CI Auto po deploy DEV QA + DevOps Smoke < 10 min 100 % PASS, Pact verify OK, flake retry ≤ 2
G7 TEST Exit Před deploy PREPROD QA Lead Pokrytí UC, regression 100 % PASS, 0 Critical/High, perf baseline, security scan
G8 PREPROD/Release Před PROD CIO+CAB+HoQ (A), HoQ (B), QAL (C) UAT 100 % kritických, perf PASS, DAST/Pentest OK, DR PASS, WCAG PASS, crypto PASS, rollback test
G9 PROD Smoke Po PROD deploy OPS + QA Lead Smoke < 10 min 100 % PASS, synthetic green 15 min, žádný P1 alert
G10 Learning T+5 dní QA Lead PIR napsán, escaped defects → test gap, baseline update, error budget review

8.3 CI/CD pravidla


9. Test design approach

Detail technik v Koncepci testování §3. Master strategie definuje závazný approach:

9.1 Závazné techniques

Technique Použití Kdy
Risk-based test design Allokace úsilí dle Risk Score Vždy
Equivalence Partitioning Validation, business rules Unit, Component, Integration
Boundary Value Analysis Numeric/date/string limits Unit, Component, Integration
Decision Table Multi-condition business logic Component, Integration
State Transition Workflow, BPM, stateful API Integration, System
Use Case / Scenario-based E2E flows System, UAT, E2E
BDD (Given/When/Then) AC + test cases Refinement → System
Pairwise / Combinatorial Configuration matrix Compatibility
Property-based Schema, parsers, validators Component, Integration
Exploratory (charter) Risk-based deep dive Per release
Negative / abuse case Security mindset Security, Integration

9.2 BDD jako sdílený jazyk

9.3 Traceability

Requirement (Jira Epic / Story)
    │
    ▼
Risk (Jira Risk issue type)
    │
    ▼
Test Case (Xray)
    │
    ▼
Test Execution (Xray + Allure)
    │
    ▼
Defect (Jira Bug)
    │
    ▼
Fix + Retest (Jira + Xray re-execution)
    │
    ▼
Evidence (Quality Studio Evidence Browser)

Pravidlo: Pro kategorii A je traceability vyžadována 100 % pro kritické UC. Pro B doporučená. Pro C volitelná.


10. Automation strategy

10.1 Cíle automatizace

Cíl Hodnota
Automation regrese coverage > 70 %
Flaky rate (CI run) < 2 %
Mean fix time pro flaky < 5 prac. dní
Test PR accepted rate > 70 % (po stabilní baseline)
Test freshness (změna kódu → test update) < 30 dní

10.2 Framework pravidla

Detail patterns v Koncepci testování §6. Master strategie definuje:

10.3 Flaky management


11. Specializované testovací domény

Detail metodologie v Koncepci testování §7-§11. Master strategie definuje scope a vlastníky:

11.1 Performance

11.2 Security

11.3 Accessibility

11.4 Crypto / PKI

11.5 DR / Resilience

11.6 AI/ML eval


12. Role a RACI

12.1 Rozšířená RACI tabulka

Fáze HoQ PO PM ARCH DEVL QAL QA QAA DEVOPS SRE SEC DPO AIE
Test Policy ownership A/R I I C C C I I I I C C I
Master strategy ownership A C C C C R C C C C C C C
Test Plan per release I C C C C A/R R C I I C I I
Test Strategy per epic I C I C C A R (QA Architect) C I I C I I
DoR I A I I C R C I I I I I I
DoD I I I I A R R C C I C I I
DoX (Released) A C C I I R R I C C C I I
MR review I I I I A C C R I I C I C
Unit testy I I I I C C C C I I I I I
Component testy I I I I C R A R I I I I I
Integration / Contract I I I C C R A R I I I I I
System / E2E I C I C I A R R I I I I I
UAT I A C I I R C I I I I I I
Performance I I I I I R C C I A I I I
Security I I I C I C I I C I A/R C I
Accessibility I C I I I R A C I I I I I
Crypto/PKI I I I C I C I I A (DevSecOps) C R I I
DR drill I I C I I C C I C A/R C I I
Chaos engineering I I I C C C C C C A R I I
Anonymization pipeline I I I I I C C I R I C A I
Toolchain governance A I I R C R C C R C R C C
Agent runtime governance A I I C I R I I C I R I R
PIR (Post-Implementation Review) I C C I C A/R R I I R C I C
Annual Quality Board review A/R C I C I R I I I I C C I

Detail RACI per quality gate je v QA přístupu §6.2.

12.2 Konflikt v RACI

Pokud dvě role nárokují A (accountable) pro stejnou aktivitu, rozhoduje HoQ. Pokud HoQ je strana sporu, Quality Board.


13. Defect management

13.1 Severity vs. Priority

Severity = technický dopad chyby
Priority = business naléhavost opravy

Severity Critical: ztráta dat / bezpečnost / total down
Severity High:     hlavní funkčnost narušena, workaround neexistuje
Severity Medium:   funkčnost narušena, workaround existuje
Severity Low:      kosmetické, malý dopad
Severity Trivial:  typo, drobnost

Priority P0: blocker pro release / production incident
Priority P1: must-fix v aktuálním sprintu
Priority P2: fix v dalším sprintu
Priority P3: backlog

13.2 Defect lifecycle

   ┌──────────────┐
   │ New          │  vytvořen QA / agent / customer
   └──────┬───────┘
          │  triage QA Lead / PM
          ▼
   ┌──────────────┐
   │ Triaged      │  severity + priority + assignee
   └──────┬───────┘
          │
          ▼
   ┌──────────────┐         ┌──────────────┐
   │ Open         │────────►│ Won't Fix    │  s odůvodněním + waiver
   └──────┬───────┘         └──────────────┘
          │
          ▼
   ┌──────────────┐
   │ In Progress  │
   └──────┬───────┘
          │
          ▼
   ┌──────────────┐
   │ Code Review  │
   └──────┬───────┘
          │
          ▼
   ┌──────────────┐
   │ Fixed        │  merged
   └──────┬───────┘
          │  retest QA
          ▼
   ┌──────────────┐         ┌──────────────┐
   │ Retest PASS  │────────►│ Reopen       │  zpět do Open
   └──────┬───────┘         └──────────────┘
          │
          ▼
   ┌──────────────┐
   │ Closed       │  PROD validation
   └──────────────┘

13.3 RCA (Root Cause Analysis)

13.4 Gate kritéria per kategorie

Defekt A — gate G7 B — gate G7 C — gate G7
Critical (Severity) 0 0 0
High 0 0 0
Medium otevřené max 5 max 10 max 10
Low bez limitu bez limitu bez limitu
Waiver vyžadován pro Medium ano (> limit) ano (> limit) ano (> limit)

14. Reporting a evidence

14.1 Reporting layers

┌────────────────────────────────────────────────────────┐
│ Strategic — Quality Board monthly                       │
│  KPI dashboard (TMMi, escaped defects, DRE, lead time)  │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Tactical — Weekly QA Report                             │
│  Sprint progress, blocked stories, gate fails, risks    │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Operational — daily standup + Quality Studio dashboard │
│  CI flake rate, regression status, defect inflow        │
└────────────────────────────────────────────────────────┘
┌────────────────────────────────────────────────────────┐
│ Release — Release Evidence Pack + Go-Live record        │
│  All gates, all evidence, SHA-256, WORM                 │
└────────────────────────────────────────────────────────┘

14.2 Release Evidence Pack

Plný obsah v QA přístupu Příloha B. Master strategie definuje:

14.3 Evidence retention

Typ Retence Storage
QA Gate Records 5 let WORM (MinIO)
Release Evidence Pack 5/3/1 let dle kategorie WORM
SBOM per build 3 roky Artifact registry
Pentest reports 5 let WORM
Audit logs (agent runs) 3 roky ClickHouse + WORM
Test execution evidence 3 roky Allure + WORM
Anonymization sign-offs 3 roky DPO storage
Performance baseline Trvale Confluence + Git
PIR reports 3 roky Confluence + WORM
Risk & Waiver register Trvale Quality Studio

15. Compliance overlay

Kompletní mapování v QA přístupu §9. Master strategie definuje scope:

Regulace Klíčové povinnosti vynucené testováním
NIS2 Audit logging, incident drill (NÚKIB), supply chain (SBOM), continuity testing, 24h early warning
ZKB 264/2025 Pentest ročně + při změně, ISMS audit, SoD test, backup integrity, crypto/TLS
GDPR Anonymizace, DSAR, audit přístupu PII, right to be forgotten
ENTSO-E TP sandbox, ECP/EDX mTLS, CIM compliance
WCAG 2.1 AA (zák. 99/2019) Public/employee UI per release

Princip: Compliance je vynuceno gates (G7/G8/G10), ne jen mapováno v dokumentaci.


16. Release model

16.1 Release cadence

Kategorie Cadence Rationale
A Trunk-based + release branch per release, ≥ 1×/Q Stabilita kritické infra; nárazové změny mají rizikové okno
B ≥ 1×/týden Balance rychlosti a stability
C Continuous deployment (po G6 pass) Low risk, fast feedback

16.2 Release flow

Sprint commit
   │
   ▼
G4-G6 (Pre-merge → Build → CI)
   │
   ▼
Deploy do TEST (auto)
   │
   ▼
G7 TEST Exit Gate (QA Lead approval)
   │
   ▼
Deploy do PREPROD
   │
   ▼
UAT + Perf + Security + Crypto + DR + WCAG
   │
   ▼
G8 PREPROD/Release Gate
   │
   │  kategorie A: CIO + CAB + HoQ + PO
   │  kategorie B: HoQ + PO
   │  kategorie C: QA Lead
   │
   ▼
Deploy do PROD
   │
   ▼
G9 PROD Smoke Gate (OPS + QA Lead)
   │
   ▼
PROD running
   │
   ▼ T+5 dní
G10 Learning Gate (PIR, retro, test gap)

16.3 Hotfix flow

16.4 Rollback


17. Test Plan per release

17.1 Účel Test Plánu

Test Plan per release říká CO se v tomto konkrétním releasu testuje, na rozdíl od:

17.2 Vlastník

QA Lead (per release).

17.3 Schvalovatelé

17.4 Šablona Test Plánu

TEST PLAN — Release {ID} — {název} — {datum}
═══════════════════════════════════════════════════════════════

1. METADATA
   - Release ID:
   - Kategorie projektu: A | B | C
   - Datum cíl Go-Live:
   - Test Plan vlastník:
   - Schvalovatelé:

2. SCOPE
   - In scope: {epics, stories, integrace}
   - Out of scope: {explicit boundaries}
   - Dependencies: {externí systémy, sandboxes, partneri}

3. APPROACH
   - Test levels: {Unit/Component/Integration/System/UAT/E2E/Operational}
   - Test types: {z 40 typů — co se použije}
   - Risk-based prioritization: {top 5 rizik per epic + RS}

4. ENVIRONMENT & DATA
   - TEST refresh datum:
   - PREPROD refresh datum:
   - Test data strategy: {synthetic / anonymized / fixtures}
   - DPO sign-off: {odkaz}

5. ENTRY/EXIT KRITÉRIA
   - Entry to G7: {konkrétní hodnoty}
   - Exit from G7 (PREPROD entry): {konkrétní hodnoty}
   - Exit from G8 (PROD entry): {konkrétní hodnoty}

6. SCHEDULE
   - Test design: {datum}
   - Test execution: {datum-datum}
   - UAT: {datum-datum}
   - Performance window: {datum}
   - Security/DAST window: {datum}
   - Crypto/PKI window: {datum}
   - DR drill (pokud release-time): {datum}

7. RESOURCES
   - QA Lead:
   - QA Engineers:
   - QA Automation:
   - SecOps:
   - SRE:
   - PO:
   - External vendors:

8. RISKS
   - Risk 1: {popis, RS, mitigace, owner}
   - Risk 2: ...

9. METRICS & REPORTING
   - Daily report: Quality Studio dashboard link
   - Weekly report: Confluence link
   - Defect SLA: P0 fix 24h, P1 fix 3 dny, P2 fix per sprint
   - Pass rate targets: regression ≥ 98 %, smoke 100 %

10. APPROVALS
    QA Lead:    ________________ Datum: _________
    PO:         ________________ Datum: _________
    ARCH (A):   ________________ Datum: _________

18. Externí dodavatelé

18.1 Smluvní závazek

Externí dodavatelé musí přijmout:

18.2 Acceptance testy CEPS

CEPS provádí vlastní acceptance testy dodavatelského release:

18.3 Dodavatelská quality clauses

Klausule Obsah
Right to audit CEPS může kdykoliv auditovat dodavatelské QA procesy.
Right to interview CEPS může pohovořit s konkrétními QA pracovníky dodavatele.
Tooling alignment Dodavatel používá CEPS-approved toolchain (§5.1) nebo doloží ekvivalenci.
No public LLM with CEPS data Vyžadováno smluvně.
Subdodavatel disclosure Žádný subdodavatel bez schválení CEPS.
SBOM dodávky Dodavatel dodává SBOM se signed image.
Pentest před akceptací Kategorie A — externí pentest na náklady dodavatele.

19. KPI a metriky

19.1 Leading indicators (per gate)

Plný seznam v QA přístupu §8.1. Master strategie definuje klíčové:

Metrika Cíl Vlastník
DoR pass rate > 90 % PO + QA Lead
MR rework rate < 30 % Dev Lead
SAST Critical merged 0 SecOps
CI flake rate < 2 % QA Automation
CI duration < 30 min (B/C), < 60 min (A) DevOps
Defect leakage TEST→PREPROD < 5 % QA Lead
Regression suite pass rate > 98 % QA
Release gate pass bez waiveru > 80 % HoQ
Auto-rollback rate < 5 % releasů SRE

19.2 Lagging indicators

KPI Cíl Měření Vlastník
Defect Removal Efficiency (DRE) > 95 % (1 - DefectLeakage) × 100 QA Lead
MTTR P1 < 4h Jira + monitoring SRE
Change Failure Rate < 10 % Jira PM
Deployment Frequency ≥ 1×/týden (B/C), ≥ 1×/Q (A) GitLab DevOps
Lead Time commit→PROD (A) < 15 dní GitLab + Jira PM
Automation coverage (regrese) > 70 % Xray QA Automation
Code coverage (A) ≥ 80 % SonarQube Dev Lead
Requirements coverage (kritické UC) 100 % Xray traceability QA Lead
Risk-weighted coverage > 90 % pro Risk 10+ Quality Studio QA Architect
Test freshness < 30 dní od změny kódu Quality Studio Test Builder Agent
Agent precision > 80 % findings potvrzeno člověkem Evidence store AI engineer
Accepted test PR rate > 70 % bez zásadní revize GitLab QA Automation
Quality Gate pass rate (overall) > 85 % bez waiveru Quality Studio HoQ
Escaped defects per release (A) < 3 Quality Studio QA Lead
Escaped defects per release (B) < 5 Quality Studio QA Lead
Escaped defects per release (C) < 10 Quality Studio QA Lead

19.3 Audit


20. Risk management

20.1 Risk register

20.2 Waiver workflow

Risk identifikováno
   │
   ▼
Risk Score calculated (Impact × Probability)
   │
   ▼
Mitigation hledána
   │
   ├─► Mitigation existuje → tracked, no waiver needed
   │
   └─► Mitigation neexistuje / neproveditelná
       │
       ▼
   Waiver request s expirací + trigger pro re-evaluaci
       │
       ▼
   Schvaluje (dle §6.3 Test Policy):
       RS 1-4:    QA Lead
       RS 5-9:    QA Lead + PM
       RS 10-15:  QA Lead + PM + HoQ
       RS 16-20:  + CIO/COO
       RS 21-25:  + Quality Board
       │
       ▼
   Waiver evidence v Quality Studio Risk & Waiver Center
       │
       ▼
   Expirace dohlížena n8n notifikací

20.3 Trigger pro re-evaluaci

Mandatory triggers (i před expirací):


21. Maturity model — TMMi

21.1 Cíle

Rok TMMi level Klíčové KPA (Key Process Areas)
2026 L2 → L3 transition + plný L3 do konce roku L3: Test Organization, Test Training, Test Lifecycle, Non-functional Testing, Peer Reviews
2027 L4 L4: Test Measurement, Product Quality Evaluation, Advanced Reviews
2028+ L5 (volitelné) L5: Defect Prevention, Test Process Optimization, Quality Control

21.2 Roadmap

Detail v QA přístupu §10. Master strategie definuje fáze:

F0  Scope & governance      2-3 týdny
F1  Process baseline         4-6 týdnů
F2  Quality Studio MVP       6-8 týdnů
F3  Agentic MVP              6-8 týdnů
F4  Security & NFR agents    6-8 týdnů
F5  Prod Sentinel + scale    4-6 týdnů

Celkem F0-F5: 6-8 měsíců. Měřitelná hodnota od F1.


22. Životní cyklus strategie

22.1 Annual review

22.2 Ad-hoc update

Vyžadovaný při:

22.3 Changelog

Verze Datum Autor Změna Schvalovatel
2.0 2024-09-01 HoQ Initial release v2.0 Quality Board
2.1 2025-09-01 HoQ + ENTSO-E ECP/EDX, + ZKB 264/2025 alignment Quality Board
2.2 2026-05-22 HoQ + Vztah k QA přístupu (10 gates), + Quality Studio, + Agentic layer, + DoX Quality Board (pending)

23. Schválení

Master testovací strategie CEPS HUB v2.2 — Quality Board approval
═══════════════════════════════════════════════════════════════
CIO:                          _________________________  Datum: __________
COO:                          _________________________  Datum: __________
Head of Quality:              _________________________  Datum: __________
Head of Operations:           _________________________  Datum: __________
Head of SecOps:               _________________________  Datum: __________
Head of DevOps / SRE:         _________________________  Datum: __________
DPO:                          _________________________  Datum: __________
QA Lead:                      _________________________  Datum: __________

Příloha A — Glosář (sdílený s Test Policy)

Viz Test Policy Příloha A (sdílený glosář pro celý rámec) a QA přístup Příloha C (rozšíření o agentic terminologii).

Příloha B — Reference


Konec Master testovací strategie CEPS HUB v2.2.