Spravedlnost.cz
Veřejná správa · metodika

Index efektivity není jedno číslo.
Je to vektor pěti domén.

Jedno tučné skóre vypadá silně, ale strukturálně lže — komprese 14 ukazatelů do skaláru zahazuje informaci a kóduje skryté hodnotové soudy ve vahách. Proto v Spravedlnost.cz publikujeme index efektivity jako rozklad pěti domén s intervaly nejistoty. Velké číslo je až sekundární — primárním výstupem je profil.

Index, který nejde rozložit zpět na příčiny a na surová data, je v našem projektu špatný postup. Plnou metodiku najdete v docs/06-index-efektivity.md.

Aktuální stav: zatím bez bodového skóre

před prahem zveřejnění

Pro publikaci bodového skóre úřadu vyžadujeme alespoň 20 vyřízených řízení v klouzavém okně 12 měsíců (u malých úřadů 24 měsíců). Falešně sebevědomý žebříček škodí víc než chybějící řádek. Mezitím publikujeme surové ukazatele v Mapě úřadů a vysvětlujeme metodiku zde.

5 domén

Z čeho se index skládá

Záměrně pět, ne víc. Každá další doména zvyšuje korelaci mezi vstupy a snižuje interpretovatelnost vah. Procentní váhy jsou počáteční odhad k debatě, ne posvěcená čísla.

Rychlost

váha 35 %
  • Medián délky řízení (segmentováno typem)
  • P90 — chvostové riziko

Občana nezajímá průměr, zajímá ho typický případ a riziko dlouhého ocasu. Proto sledujeme dvě rychlostní metriky najednou.

Předvídatelnost

váha 20 %
  • Kvartilové rozpětí (IQR)
  • Robustní variační koeficient (IQR / medián)

Úřad se stabilními 110 dny je pro stavebníka cennější než úřad s 80 % případů za 60 dní a 20 % za 400. Předvídatelnost má ekonomickou hodnotu.

Bezvadnost rozhodování

váha 20 %
  • Míra odvolání proti rozhodnutí
  • Míra zrušení rozhodnutí nadřízeným orgánem

Nízká míra odvolání může znamenat skvělou práci NEBO rezignaci občanů. Proto ji interpretujeme jen v páru s úspěšností odvolání.

Endogenní zdržení

váha 15 %
  • Podíl času na vlastní práci úřadu
  • Podíl času čekáním na třetí strany

Část zdržení úřad nezpůsobuje — čeká na hasiče, hygienu, památkáře. Bez tohoto oddělení bychom úřad trestali za cizí chyby a ztratili důvěru úředníků.

Zkušenost občana

váha 10 %
  • Srozumitelnost komunikace
  • Počet návštěv/výzev
  • Subjektivní hodnocení

Měkká doména — záměrně s nejnižší vahou a tvrdým stropem. Pochvalné kampaně nesmí index posunout, spokojenost se snadno gameuje.

Jak to vypadá v praxi

Profil úřadu jako vektor, ne jako skóre

Modelový příklad. Šedá svislá čárka je peer-medián (p50) — pozice ve srovnání se srovnatelnými úřady. Pruh ukazuje, kde se úřad nachází ve své peer-skupině v jednotlivých doménách.

Ilustrace — modelová data
Stavební úřad „A“ · Středočeský kraj

n = 47 vyřízených řízení (≥ práh) · klouzavé okno 12 měsíců · peer-skupina: ORP střední velikosti

Rychlostváha 35 %
p64 / p50
Předvídatelnostváha 20 %
p42 / p50
Bezvadnost rozhodováníváha 20 %
p71 / p50
Endogenní zdrženíváha 15 %
p58 / p50
Zkušenost občanaváha 10 %
p55 / p50

Čtení: ve Bezvadnosti rozhodování je úřad nad mediánem (p71 vs. p50), v Předvídatelnosti pod mediánem (p42) — vysoký rozptyl délek řízení. To je užitečnější vodítko než „jedno skóre 6,3 / 10“.

Citlivostní analýza

U každého publikovaného skóre běží Monte Carlo simulace s ~10 000 vzorky vah z Dirichletova rozdělení. Výstup není „úřad je 14.“, ale „úřad je s 90 % pravděpodobností mezi 11. a 19. místem napříč rozumnými volbami vah".

Index, jehož závěr se rozpadne při malé změně vah, sám sebe diskvalifikuje — a je dobře, že to víme.

Metodika

Pět kroků, které drží index pohromadě

01
Winsorizace na 5. a 95. percentilu

Extrémní hodnoty se neořezávají z dat (zůstávají dohledatelné), ale pro účely škálování se zastropují — jeden extrém nesmí deformovat normalizaci.

02
Percentilové (robustní) škálování

Místo min-max nebo z-skóre. Každý úřad dostane pozici v rozdělení peer-skupiny — věta typu „rychlejší než 72 % srovnatelných úřadů“ je intuitivnější než suché skóre 0,73.

03
Bayesovský shrinkage u malých vzorků

Úřad s 8 případy a skvělým výsledkem se v indexu zobrazí blíž průměru, dokud nedodá víc dat. Není to trest, je to poctivé přiznání nejistoty.

04
Intervaly spolehlivosti, ne tvrdá pořadí

Žádné „47. místo“. Místo toho percentilové pásmo a explicitně „statisticky nerozlišitelné od X úřadů“. Dva úřady s překrývajícími se intervaly jsou ve sledovaném kritériu stejně dobré.

05
Standardizace skladby případů

Kraj s vysokým podílem složitých staveb vypadá pomalejší, i kdyby každý typ vyřizoval nadprůměrně rychle. Standardizace odpoví: jak rychlý by byl při celostátní skladbě?

Odolnost

Co kdyby se úřad pokusil index ošálit?

Žádný jednotlivý ukazatel nesmí jít optimalizovat bez zhoršení párového. Index jako soustava protivah je výrazně odolnější než lineární součet.

Útok
Přerušování řízení pro vynulování lhůty
Obrana
Měříme kalendářní dobu od podání do právní moci, ne jen běh lhůty. Počet přerušení/výzev sledujeme jako kontrolní ukazatel.
Útok
Cherry-picking lehkých případů „napřed“
Obrana
Segmentace podle typu + P90 (chvostové riziko). Odbavovat jen lehké zhorší P90 a rozptyl.
Útok
Astroturfing spokojenosti
Obrana
Nízká váha měkkých metrik, detekce anomálií (náhlý příval pětihvězd z jedné IP), medián místo průměru.
Útok
Teaching to the test
Obrana
Párové metriky — rychlost vždy spolu s mírou rušení nadřízeným orgánem. Nelze zrychlit zfušováním, aniž stoupne zrušenost.
Hranice použití

Co index NEznamená

Neměří kvalitu úřadu jako celku

Měříme jen úzce vymezený proces (v MVP stavební řízení). Stejný úřad může výborně řešit živnosti a hůře stavby — nebo opačně.

Nízké skóre ≠ vina úředníka

Velká část zpoždění je systémová: čekání na dotčené orgány, personální poddimenzování, složitost lokality. Kritika míří na proces.

Neslouží k sankcím ani odměnám jednotlivců

Je to nástroj zlepšování, ne kádrování. Jakmile by index ovlivnil osobní bonusy, gaming exploduje a hodnota dat se zničí.

Vysoké skóre nezaručuje rychlé řízení

Popisuje minulost s nejistotou. Intervaly spolehlivosti a klouzavé okno průběžně připomínají, že odhad ≠ predikce.

Spolutvořte vstupní data

Index se rozsvítí, jakmile bude dost reálných záznamů — to znamená zkušeností od občanů a anonymních podnětů od úředníků. Žádné jméno, žádná IP, žádná identifikace.