Firemního AI asistenta nepřebírejte podle několika přesvědčivých odpovědí. Připravte předem otázky, očekávané podklady a pravidla pro případ, kdy odpovědět nemá. U chyby potom potřebujete zjistit, zda chyběl dokument, selhalo hledání, ztratila se pasáž při předání modelu, nebo se pokazila odpověď či citace.
Tento návod je určený vlastníkovi AI produktu, vedoucímu podpory a QA. Obsahuje registr testů a skutečně spuštěnou malou deterministickou evaluaci nad syntetickými českými dokumenty. Není to benchmark jazykových modelů ani potvrzení připravenosti konkrétního firemního asistenta do provozu.
Sestavte otázky uživatelů a očekávané důkazy
Začněte úlohami, za které někdo nese odpovědnost. „Najdi aktuální formulář“ potřebuje správný dokument a verzi. „Vysvětli výjimku v servisních podmínkách“ navíc vyžaduje věrný výklad podmínky. Tyto výstupy mají jiná kritéria a neměly by se schovat do jedné známky spokojenosti.
Otázky vezměte z bezpečně zpřístupněných dotazů podpory, rozhovorů a pracovních situací. Doplňte překlepy, zkratky a neúplné formulace, které lidé opravdu používají. Model může navrhnout další varianty, ale jejich původ označte. Pět parafrází jedné situace není pět nezávislých potřeb. Část případů ponechte stranou pro přejímku, aby ladění neskončilo zapamatováním známého seznamu.
Ke každé otázce přiřaďte konkrétní pasáž a verzi dokumentu ještě před spuštěním. Pokud správnou odpověď nedokáže určit ani garant, nezískali jste test s jednoznačným výsledkem. Máte otevřenou otázku ke znalostní bázi. Rozlišení je zásadní: nelze spravedlivě hodnotit dodávku proti referenci, kterou si kontrolor domyslí až po přečtení odpovědi.
Metodika evaluací OpenAI, ověřená 18. listopadu 2026, odděluje cíl, data, metriky, porovnání a průběžné přetestování. Číselné prahy z jejích příkladů nejsou univerzální akceptační normou. Vlastní hranice odvoďte od následků chyby a rozsahu pilotu.
Prázdný záznam jednoho testu
- Identita a očekávání
- [test_id, verze sady, původ námětu, přesná otázka, scénář, jazyk, uživatelská role a datum zkoumané situace]. Doplňte očekávané chování: odpověď, doptání, bezpečné odmítnutí nebo předání člověku.
- Důkaz a hranice
- [povinná dokumentová verze a pasáž, přijatelné varianty odpovědi, podmínky a výjimky, zakázané informace, závažnost chyby]. Nejasnou referenci označte k rozhodnutí garantem.
- Provedení
- [run_id, verze korpusu, parseru, vyhledávání, promptu a modelu; dostupné parametry; nalezené ID a pořadí; skutečně předané pasáže; odpověď a odkazy; časy jednotlivých etap; náklady a stav dokončení]. Neznámé nastavení neodhadujte.
- Hodnocení a další krok
- [správnost vstupu, nalezení, předání, výkladu, citace a oprávnění samostatně; lidský hodnotitel a důvod; případný automatický soudce; neshoda; vlastník opravy a opakovaný test]. Původní neúspěšný záznam nemažte.
Přidejte neřešitelné a nepovolené dotazy
U chybějícího podkladu je úspěchem přiznaná mezera nebo vhodné doptání, ne sebevědomě doplněná informace. U nepřístupného zdroje navíc nesmí odpověď prozradit jeho obsah, název ani existenci, pokud jsou i tyto údaje chráněné. Někdy proto bude uživatelská zpráva stejná jako při nenalezení podkladu. Interní diagnostika může příčinu rozlišit, ale musí mít vlastní omezený přístup.
Pro mini-evaluaci byly před prvním během zapsány následující otázky a reference. Korpus obsahuje dvě účinné verze servisní informace Orion, rozpočet dostupný jen vedoucímu a označení formuláře. Jde o čtyři syntetické záznamy, dvě role a modelové datum. Označení Q3 zkouší oprávnění, Q5 chybějící znalost; obě situace vedou ve fixture k prázdné odpovědní hodnotě.
Na úzkém displeji lze tabulku posunout vodorovně; klávesnicí po zaměření oblasti použijte šipky.
| ID a otázka | Role / datum | Důkaz | Očekávaný výsledek |
|---|---|---|---|
| Q1: Do kdy přijímá servis Orion hlášení? | podpora / 18. 11. | D1v2, §1 | 18 hodin |
| Q2: Do kdy přijímal servis Orion hlášení v říjnu? | podpora / 25. 10. | D1v1, §1 | 16 hodin, historický stav |
| Q3: Jaký je rozpočet projektu Orion? | podpora / 18. 11. | žádný povolený | bez chráněného obsahu |
| Q4: Jaký je rozpočet projektu Orion? | vedoucí / 18. 11. | D2, §2 | 240 modelových jednotek |
| Q5: Jaká je sleva na Neptun? | podpora / 18. 11. | chybí | nepřidat smyšlenou slevu |
| Q6: Kde najdu označení formuláře hlášení? | podpora / 18. 11. | D3, §1 | F7 |
Všechna data v tabulce patří do roku 2026. Pro běžný provoz rozšiřte sadu o rozpory, budoucí účinnost, zrušený přístup, neplatný předpoklad, víceotázek v jedné zprávě a pokus podstrčit instrukci v dokumentu. Naše šestice tyto další situace nepokrývá. Její účel je ukázat dohledatelný způsob vyhodnocení, nikoli vytvořit působivé procento.
Oddělte chybu ingestu, retrieval a odpovědi
Ingest je převzetí a zpracování vstupu. Zkontrolujte, že zůstaly zachované tabulky, jednotky, podmínky, nadpisy a verze. Pokud se důležitý řádek z PDF vůbec nedostal do korpusu, změna promptu jej neobnoví. Retrieval je dohledání podkladů; správná pasáž může být v korpusu, ale mezi vybranými výsledky chybět.
Dalším bodem je předání kontextu. Nalezená pasáž se může ztratit kvůli limitu délky, deduplikaci nebo následnému řazení. Teprve pak přichází výklad a citace. Pro tyto fáze potřebujete vidět skutečný vstup odpovědní komponenty, nikoli jen seznam kandidátů někde v logu. Základní mechanismus rozebírá článek o RAG; zde jej převádíme na kontrolní pole a reprodukovatelné chyby.
V našem spuštěném testu vyhledávání nejprve filtruje schválení, účinnost, výmaz a roli. Potom porovná předem uvedené tematické značky. Odpovědní část pouze převezme hodnotu z prvního úryvku a připojí ID pasáže. Není zapojen jazykový model, embeddingy ani skutečný PDF parser. Takto omezený test ověřuje zapojení kontrol a diagnostiky, ne porozumění přirozené otázce nebo kvalitu formulace odpovědi.
V běžné variantě prošlo všech šest scénářů přesnou kontrolou očekávané hodnoty a citace. U dvou odmítnutí zůstal kontext prázdný. Následně jsme záměrně vložili čtyři vady, každou do samostatného běhu. Nejde o zjištěné vady produkčního dodavatele.
Na úzkém displeji lze tabulku posunout vodorovně; klávesnicí po zaměření oblasti použijte šipky.
| Zásah | Co test pozoroval | První selhávající kontrola |
|---|---|---|
| Vynechat D3 při ingestu | Q6 nemá požadovaný dokument | ingest |
| Vyprázdnit výsledky Q1 | D1v2 existuje, ale není nalezený | retrieval |
| Zaměnit odpověď Q1 za „99 hodin“ | Správný kontext, nesprávná hodnota | odpověď |
| U Q1 citovat D1v1 místo D1v2 | Správná hodnota, špatná verze citace | citace |
Pořadí diagnostiky má význam. Vynechaný dokument způsobí i chybějící odpověď, ale oprava patří nejprve do vstupu. Vedle první příčiny proto ukládáme všechny dílčí výsledky. Ve skutečném systému může současně selhat více vrstev; nevnucujte logu vždy jedinou závadu.
Spustitelná syntetická ukázka v Pythonu
Zkopírujte celý kód do souboru ukazka.py a spusťte python3 ukazka.py. Stačí Python 3.10 nebo novější; kód nečte firemní data a nevolá síť. Hodnoty jsou modelové. Výpis ukáže běžné scénáře i záměrně vložené vady.
Delší řádky kódu lze posunout vodorovně. Klávesnicí přejděte na oblast tabulátorem a použijte šipky; celý kód kopírujte beze změny odsazení.
"""Syntetická ukázka; Python 3.10+, bez balíčků a sítě. Nejde o LLM benchmark."""
import json,copy,re,time,statistics
DATA = {'documents': [{'id': 'D1v1',
'family': 'D1',
'version': 1,
'section': '§1',
'text': 'Servis Orion přijímá hlášení do 16 hodin.',
'value': '16 hodin',
'topic': 'orion servis',
'owner': 'garant podpory (modelová role)',
'approved': True,
'valid_from': '2026-01-01',
'valid_to': '2026-11-01',
'indexed_at': '2026-01-02',
'roles': ['podpora', 'vedouci'],
'deleted': False},
{'id': 'D1v2',
'family': 'D1',
'version': 2,
'section': '§1',
'text': 'Servis Orion přijímá hlášení do 18 hodin.',
'value': '18 hodin',
'topic': 'orion servis',
'owner': 'garant podpory (modelová role)',
'approved': True,
'valid_from': '2026-11-01',
'valid_to': None,
'indexed_at': '2026-10-20',
'roles': ['podpora', 'vedouci'],
'deleted': False},
{'id': 'D2',
'family': 'D2',
'version': 1,
'section': '§2',
'text': 'Rozpočet projektu Orion je 240 jednotek.',
'value': '240 jednotek',
'topic': 'orion rozpočet',
'owner': 'garant rozpočtu (modelová role)',
'approved': True,
'valid_from': '2026-01-01',
'valid_to': None,
'indexed_at': '2026-01-02',
'roles': ['vedouci'],
'deleted': False},
{'id': 'D3',
'family': 'D3',
'version': 1,
'section': '§1',
'text': 'Formulář servisního hlášení má označení F7.',
'value': 'F7',
'topic': 'formulář hlášení',
'owner': 'garant podpory (modelová role)',
'approved': True,
'valid_from': '2026-01-01',
'valid_to': None,
'indexed_at': '2026-01-02',
'roles': ['podpora', 'vedouci'],
'deleted': False}],
'evaluation_questions': [{'id': 'Q1',
'question': 'Do kdy přijímá servis Orion hlášení?',
'terms': 'orion servis',
'role': 'podpora',
'as_of': '2026-11-18',
'required': ['D1v2'],
'expected': '18 hodin',
'behavior': 'answer'},
{'id': 'Q2',
'question': 'Do kdy přijímal servis Orion hlášení v říjnu?',
'terms': 'orion servis',
'role': 'podpora',
'as_of': '2026-10-25',
'required': ['D1v1'],
'expected': '16 hodin',
'behavior': 'answer'},
{'id': 'Q3',
'question': 'Jaký je rozpočet projektu Orion?',
'terms': 'orion rozpočet',
'role': 'podpora',
'as_of': '2026-11-18',
'required': [],
'expected': None,
'behavior': 'abstain'},
{'id': 'Q4',
'question': 'Jaký je rozpočet projektu Orion?',
'terms': 'orion rozpočet',
'role': 'vedouci',
'as_of': '2026-11-18',
'required': ['D2'],
'expected': '240 jednotek',
'behavior': 'answer'},
{'id': 'Q5',
'question': 'Jaká je sleva na Neptun?',
'terms': 'neptun sleva',
'role': 'podpora',
'as_of': '2026-11-18',
'required': [],
'expected': None,
'behavior': 'abstain'},
{'id': 'Q6',
'question': 'Kde najdu označení formuláře hlášení?',
'terms': 'formulář hlášení',
'role': 'podpora',
'as_of': '2026-11-18',
'required': ['D3'],
'expected': 'F7',
'behavior': 'answer'}]}
def load(): return copy.deepcopy(DATA)
def eligible(d,role,as_of):
return d['approved'] and not d['deleted'] and role in d['roles'] and d['valid_from']<=as_of and (not d['valid_to'] or as_of<d['valid_to'])
def retrieve(docs,terms,role,as_of):
wanted=set(terms.split());return [d for d in docs if eligible(d,role,as_of) and wanted<=set(d['topic'].split())]
def evaluate(q,docs,fault=None):
ingested=[copy.deepcopy(d) for d in docs if not(fault=='ingest' and d['id']=='D3')]
hits=retrieve(ingested,q['terms'],q['role'],q['as_of'])
if fault=='retrieval':hits=[]
context=hits[:1]
answer=context[0]['value'] if context else None
cited=[context[0]['id']+'#'+context[0]['section']] if context else []
if fault=='answer' and context:answer='99 hodin'
if fault=='citation' and context:cited=['D1v1#§1']
required=q['required'];found=[x['id'] for x in hits];passed=[x['id'] for x in context]
ingest_ok=all(x in [d['id'] for d in ingested] for x in required)
retrieval_ok=all(x in found for x in required)
context_ok=all(x in passed for x in required)
answer_ok=answer==q['expected']
citation_ok=cited==([required[0]+'#'+next(d['section'] for d in docs if d['id']==required[0])] if required else [])
leak=any(not eligible(x,q['role'],q['as_of']) for x in hits)
checks={'ingest':ingest_ok,'retrieval':retrieval_ok,'context':context_ok,'answer':answer_ok,'citation':citation_ok,'no_unauthorized_context':not leak}
first=next((k for k,v in checks.items() if not v),None)
return {'id':q['id'],'found':found,'passed':passed,'used':[context[0]['id']] if context else [],'answer':answer,'cited':cited,'checks':checks,'first_failure':first,'pass':all(checks.values())}
f=load()
normal=[evaluate(q,f["documents"]) for q in f["evaluation_questions"]]
faults=[dict(fault=mode,**evaluate(next(q for q in f["evaluation_questions"] if q["id"]==qid),f["documents"],mode)) for mode,qid in [("ingest","Q6"),("retrieval","Q1"),("answer","Q1"),("citation","Q1")]]
print(json.dumps({"normal":normal,"faults":faults},ensure_ascii=False,indent=2))
Pro retrieval můžete sledovat podíl povinných důkazů, které se dostaly mezi výsledky, a kolik z vráceného kontextu bylo potřebných. Metriky mají známý jmenovatel a potřebují referenční anotaci. U neřešitelných dotazů se místo chybějícího „správného dokumentu“ hodnotí správné neodpovězení. Pro výklad sledujte zachování podmínek; pro citace podporu konkrétního tvrzení a správné místo.
Ragas tyto aspekty rozděluje do samostatných metrik, například context recall, faithfulness či factual correctness. Neznamenají totéž a některé varianty využívají další modelová volání. Shoda řetězce v naší fixture není Ragas faithfulness a nemá se tak nazývat.
Stanovte lidské posouzení a nejistoty
Tato mini-evaluace nemá doložené lidské doménové posouzení ani spuštěného LLM soudce. Jejich vzájemná shoda a neshody tedy nejsou změřené. Samostatný AI redakční kontrolor také není člověk. Šest úspěšných deterministických řádků neprokazuje, že by skutečný asistent obstál v provozu.
Před převzetím reálné dodávky určete odborníka, který zná dané dokumenty a schválí reference. Nechte dva hodnotitele nezávisle posoudit alespoň rizikové a nejednoznačné případy podle stejné rubriky. U neshody uchovejte oba původní verdikty, důvody a rozhodnutí třetí pověřené osoby nebo garanta. Nevyřazujte sporné řádky jen proto, že zhoršují souhrn.
Pokud přidáte LLM-as-a-judge, uložte model, prompt, rubriku, vstupní podklady a opakované verdikty. Porovnejte je s lidskými anotacemi na vymezeném vzorku a ukažte konkrétní neshody: například soudce uzná tematicky blízký zdroj, který nepodporuje výjimku. Silnější nebo jiný model může mít stále stejné slabiny. Záměna pořadí odpovědí či preference delšího textu jsou další důvody kontrolovat samotného hodnotitele.
Průměr nezaměníte za bezpečnostní bránu. Únik chráněného obsahu má vlastní závažnost a může znamenat zastavení, i kdyby ostatní odpovědi byly dobré. Zvlášť vykazujte nedokončené běhy, chyby nástrojů, odmítnutí, sporná hodnocení, čas po první užitečný výstup a dobu do hotové odpovědi. U placeného systému připojte skutečné náklady celé úlohy, ne jen cenu tokenu.
Udržujte regresní sadu a frontu zpětné vazby
Regresní sada hlídá, zda se dříve přijatelné chování po změně nezhoršilo. Spusťte ji po změně dokumentů, oprávnění, parseru, vyhledávání, promptu i modelu. U každého běhu uchovejte verze. Pokud změníte více částí najednou, lze převzít celý balík, ale příčinu rozdílu už nemusíte umět přiřadit jediné úpravě.
Palec dolů od uživatele patří do fronty pro kontrolu, ne přímo do tréninku nebo automatického trestu dokumentu. Mohl znamenat nesouhlas se správným pravidlem, chybný zdroj i nesrozumitelnou formulaci. Pověřený odborník nejprve rozhodne, co bylo špatně, doplní důkaz a vytvoří opravený test. Citlivé konverzace nezpřístupňujte všem hodnotitelům jen kvůli pohodlnému dashboardu.
Začněte tabulkou s vlastníkem opravy a termínem opakování. Držte odděleně ladicí a přejímací případy, neúspěchy nemažte a původní očekávání nepřepisujte zpětně tak, aby nová verze vyhrála. Metodika SEO testování řeší jiný typ důkazu; tady měříte interní chování asistenta, nikoli přírůstkový dopad na organickou návštěvnost. Ani monitoring AI viditelnosti není náhradou této přejímky.
Chcete převzít asistenta podle ověřitelných podmínek?
Pomohu vám vymezit scénáře, očekávané důkazy a odpovědnost za rozhodnutí o pilotu. Napište mi, co má váš asistent umět a kde by chyba měla největší následky. Doménové posouzení a technické testování zajistíme v dohodnutém rozsahu se správnými lidmi; malé demonstrační skóre za jejich práci vydávat nebudeme.









