• SEO Pivo
  • Marketingová Plzeň
  • AI Bootcamp
  • Kontakt
[email protected]
Osobní web
Blog o SEO, AI a Marketingu
Martin Bangho
  • GEO & SEO
  • AI & Agenti
  • Marketing
  • GEO & SEO
  • AI & Agenti
  • Marketing
Blog AI & LLMs
Martin Bangho přikládá dřevěný válec ke kruhovému otvoru v kovové šabloně.

Jak otestovat firemního AI asistenta: otázky, zdroje a chyby před spuštěním

Martin Bangho Martin Bangho
18. 11. 2026
Kategorie: AI & LLMs
13 minut čtení
0
0

Firemního AI asistenta nepřebírejte podle několika přesvědčivých odpovědí. Připravte předem otázky, očekávané podklady a pravidla pro případ, kdy odpovědět nemá. U chyby potom potřebujete zjistit, zda chyběl dokument, selhalo hledání, ztratila se pasáž při předání modelu, nebo se pokazila odpověď či citace.

Tento návod je určený vlastníkovi AI produktu, vedoucímu podpory a QA. Obsahuje registr testů a skutečně spuštěnou malou deterministickou evaluaci nad syntetickými českými dokumenty. Není to benchmark jazykových modelů ani potvrzení připravenosti konkrétního firemního asistenta do provozu.

Sestavte otázky uživatelů a očekávané důkazy

Začněte úlohami, za které někdo nese odpovědnost. „Najdi aktuální formulář“ potřebuje správný dokument a verzi. „Vysvětli výjimku v servisních podmínkách“ navíc vyžaduje věrný výklad podmínky. Tyto výstupy mají jiná kritéria a neměly by se schovat do jedné známky spokojenosti.

Další články

Muž v bílé košili drží prázdný dřevěný rám a ukazuje na jeho vnitřní plochu.

Persony v AI: role, hranice a stabilita asistenta

18. 11. 2026
Muž v bílé košili vybírá modrou kartu ze skupiny oddělených pořadačů.

BlockRank: co výzkum řazení dokumentů říká a co ne

18. 11. 2026
Martin Bangho vybírá modrou složku z otevřené kartotéky v kanceláři.

Firemní znalosti pro AI: kdo rozhoduje, která odpověď ještě platí

18. 11. 2026
Muž v modré košili připojuje kabel k malé propojovací jednotce; další kabel zůstává za červenou zarážkou.

MCP a AI agenti v marketingu: využití a bezpečné hranice

18. 11. 2026

Otázky vezměte z bezpečně zpřístupněných dotazů podpory, rozhovorů a pracovních situací. Doplňte překlepy, zkratky a neúplné formulace, které lidé opravdu používají. Model může navrhnout další varianty, ale jejich původ označte. Pět parafrází jedné situace není pět nezávislých potřeb. Část případů ponechte stranou pro přejímku, aby ladění neskončilo zapamatováním známého seznamu.

Ke každé otázce přiřaďte konkrétní pasáž a verzi dokumentu ještě před spuštěním. Pokud správnou odpověď nedokáže určit ani garant, nezískali jste test s jednoznačným výsledkem. Máte otevřenou otázku ke znalostní bázi. Rozlišení je zásadní: nelze spravedlivě hodnotit dodávku proti referenci, kterou si kontrolor domyslí až po přečtení odpovědi.

Metodika evaluací OpenAI, ověřená 18. listopadu 2026, odděluje cíl, data, metriky, porovnání a průběžné přetestování. Číselné prahy z jejích příkladů nejsou univerzální akceptační normou. Vlastní hranice odvoďte od následků chyby a rozsahu pilotu.

Prázdný záznam jednoho testu

Identita a očekávání
[test_id, verze sady, původ námětu, přesná otázka, scénář, jazyk, uživatelská role a datum zkoumané situace]. Doplňte očekávané chování: odpověď, doptání, bezpečné odmítnutí nebo předání člověku.
Důkaz a hranice
[povinná dokumentová verze a pasáž, přijatelné varianty odpovědi, podmínky a výjimky, zakázané informace, závažnost chyby]. Nejasnou referenci označte k rozhodnutí garantem.
Provedení
[run_id, verze korpusu, parseru, vyhledávání, promptu a modelu; dostupné parametry; nalezené ID a pořadí; skutečně předané pasáže; odpověď a odkazy; časy jednotlivých etap; náklady a stav dokončení]. Neznámé nastavení neodhadujte.
Hodnocení a další krok
[správnost vstupu, nalezení, předání, výkladu, citace a oprávnění samostatně; lidský hodnotitel a důvod; případný automatický soudce; neshoda; vlastník opravy a opakovaný test]. Původní neúspěšný záznam nemažte.

Přidejte neřešitelné a nepovolené dotazy

U chybějícího podkladu je úspěchem přiznaná mezera nebo vhodné doptání, ne sebevědomě doplněná informace. U nepřístupného zdroje navíc nesmí odpověď prozradit jeho obsah, název ani existenci, pokud jsou i tyto údaje chráněné. Někdy proto bude uživatelská zpráva stejná jako při nenalezení podkladu. Interní diagnostika může příčinu rozlišit, ale musí mít vlastní omezený přístup.

Pro mini-evaluaci byly před prvním během zapsány následující otázky a reference. Korpus obsahuje dvě účinné verze servisní informace Orion, rozpočet dostupný jen vedoucímu a označení formuláře. Jde o čtyři syntetické záznamy, dvě role a modelové datum. Označení Q3 zkouší oprávnění, Q5 chybějící znalost; obě situace vedou ve fixture k prázdné odpovědní hodnotě.

Na úzkém displeji lze tabulku posunout vodorovně; klávesnicí po zaměření oblasti použijte šipky.

Vlastní syntetická sada; šest scénářů není reprezentativní provozní vzorek.
ID a otázka Role / datum Důkaz Očekávaný výsledek
Q1: Do kdy přijímá servis Orion hlášení? podpora / 18. 11. D1v2, §1 18 hodin
Q2: Do kdy přijímal servis Orion hlášení v říjnu? podpora / 25. 10. D1v1, §1 16 hodin, historický stav
Q3: Jaký je rozpočet projektu Orion? podpora / 18. 11. žádný povolený bez chráněného obsahu
Q4: Jaký je rozpočet projektu Orion? vedoucí / 18. 11. D2, §2 240 modelových jednotek
Q5: Jaká je sleva na Neptun? podpora / 18. 11. chybí nepřidat smyšlenou slevu
Q6: Kde najdu označení formuláře hlášení? podpora / 18. 11. D3, §1 F7

Všechna data v tabulce patří do roku 2026. Pro běžný provoz rozšiřte sadu o rozpory, budoucí účinnost, zrušený přístup, neplatný předpoklad, víceotázek v jedné zprávě a pokus podstrčit instrukci v dokumentu. Naše šestice tyto další situace nepokrývá. Její účel je ukázat dohledatelný způsob vyhodnocení, nikoli vytvořit působivé procento.

Oddělte chybu ingestu, retrieval a odpovědi

Ingest je převzetí a zpracování vstupu. Zkontrolujte, že zůstaly zachované tabulky, jednotky, podmínky, nadpisy a verze. Pokud se důležitý řádek z PDF vůbec nedostal do korpusu, změna promptu jej neobnoví. Retrieval je dohledání podkladů; správná pasáž může být v korpusu, ale mezi vybranými výsledky chybět.

Dalším bodem je předání kontextu. Nalezená pasáž se může ztratit kvůli limitu délky, deduplikaci nebo následnému řazení. Teprve pak přichází výklad a citace. Pro tyto fáze potřebujete vidět skutečný vstup odpovědní komponenty, nikoli jen seznam kandidátů někde v logu. Základní mechanismus rozebírá článek o RAG; zde jej převádíme na kontrolní pole a reprodukovatelné chyby.

V našem spuštěném testu vyhledávání nejprve filtruje schválení, účinnost, výmaz a roli. Potom porovná předem uvedené tematické značky. Odpovědní část pouze převezme hodnotu z prvního úryvku a připojí ID pasáže. Není zapojen jazykový model, embeddingy ani skutečný PDF parser. Takto omezený test ověřuje zapojení kontrol a diagnostiky, ne porozumění přirozené otázce nebo kvalitu formulace odpovědi.

V běžné variantě prošlo všech šest scénářů přesnou kontrolou očekávané hodnoty a citace. U dvou odmítnutí zůstal kontext prázdný. Následně jsme záměrně vložili čtyři vady, každou do samostatného běhu. Nejde o zjištěné vady produkčního dodavatele.

Na úzkém displeji lze tabulku posunout vodorovně; klávesnicí po zaměření oblasti použijte šipky.

Skutečný výstup deterministické fixture: čtyři vložené vady, čtyři zachycení.
Zásah Co test pozoroval První selhávající kontrola
Vynechat D3 při ingestu Q6 nemá požadovaný dokument ingest
Vyprázdnit výsledky Q1 D1v2 existuje, ale není nalezený retrieval
Zaměnit odpověď Q1 za „99 hodin“ Správný kontext, nesprávná hodnota odpověď
U Q1 citovat D1v1 místo D1v2 Správná hodnota, špatná verze citace citace

Pořadí diagnostiky má význam. Vynechaný dokument způsobí i chybějící odpověď, ale oprava patří nejprve do vstupu. Vedle první příčiny proto ukládáme všechny dílčí výsledky. Ve skutečném systému může současně selhat více vrstev; nevnucujte logu vždy jedinou závadu.

Spustitelná syntetická ukázka v Pythonu

Zkopírujte celý kód do souboru ukazka.py a spusťte python3 ukazka.py. Stačí Python 3.10 nebo novější; kód nečte firemní data a nevolá síť. Hodnoty jsou modelové. Výpis ukáže běžné scénáře i záměrně vložené vady.

Delší řádky kódu lze posunout vodorovně. Klávesnicí přejděte na oblast tabulátorem a použijte šipky; celý kód kopírujte beze změny odsazení.

"""Syntetická ukázka; Python 3.10+, bez balíčků a sítě. Nejde o LLM benchmark."""
import json,copy,re,time,statistics
DATA = {'documents': [{'id': 'D1v1',
                'family': 'D1',
                'version': 1,
                'section': '§1',
                'text': 'Servis Orion přijímá hlášení do 16 hodin.',
                'value': '16 hodin',
                'topic': 'orion servis',
                'owner': 'garant podpory (modelová role)',
                'approved': True,
                'valid_from': '2026-01-01',
                'valid_to': '2026-11-01',
                'indexed_at': '2026-01-02',
                'roles': ['podpora', 'vedouci'],
                'deleted': False},
               {'id': 'D1v2',
                'family': 'D1',
                'version': 2,
                'section': '§1',
                'text': 'Servis Orion přijímá hlášení do 18 hodin.',
                'value': '18 hodin',
                'topic': 'orion servis',
                'owner': 'garant podpory (modelová role)',
                'approved': True,
                'valid_from': '2026-11-01',
                'valid_to': None,
                'indexed_at': '2026-10-20',
                'roles': ['podpora', 'vedouci'],
                'deleted': False},
               {'id': 'D2',
                'family': 'D2',
                'version': 1,
                'section': '§2',
                'text': 'Rozpočet projektu Orion je 240 jednotek.',
                'value': '240 jednotek',
                'topic': 'orion rozpočet',
                'owner': 'garant rozpočtu (modelová role)',
                'approved': True,
                'valid_from': '2026-01-01',
                'valid_to': None,
                'indexed_at': '2026-01-02',
                'roles': ['vedouci'],
                'deleted': False},
               {'id': 'D3',
                'family': 'D3',
                'version': 1,
                'section': '§1',
                'text': 'Formulář servisního hlášení má označení F7.',
                'value': 'F7',
                'topic': 'formulář hlášení',
                'owner': 'garant podpory (modelová role)',
                'approved': True,
                'valid_from': '2026-01-01',
                'valid_to': None,
                'indexed_at': '2026-01-02',
                'roles': ['podpora', 'vedouci'],
                'deleted': False}],
 'evaluation_questions': [{'id': 'Q1',
                           'question': 'Do kdy přijímá servis Orion hlášení?',
                           'terms': 'orion servis',
                           'role': 'podpora',
                           'as_of': '2026-11-18',
                           'required': ['D1v2'],
                           'expected': '18 hodin',
                           'behavior': 'answer'},
                          {'id': 'Q2',
                           'question': 'Do kdy přijímal servis Orion hlášení v říjnu?',
                           'terms': 'orion servis',
                           'role': 'podpora',
                           'as_of': '2026-10-25',
                           'required': ['D1v1'],
                           'expected': '16 hodin',
                           'behavior': 'answer'},
                          {'id': 'Q3',
                           'question': 'Jaký je rozpočet projektu Orion?',
                           'terms': 'orion rozpočet',
                           'role': 'podpora',
                           'as_of': '2026-11-18',
                           'required': [],
                           'expected': None,
                           'behavior': 'abstain'},
                          {'id': 'Q4',
                           'question': 'Jaký je rozpočet projektu Orion?',
                           'terms': 'orion rozpočet',
                           'role': 'vedouci',
                           'as_of': '2026-11-18',
                           'required': ['D2'],
                           'expected': '240 jednotek',
                           'behavior': 'answer'},
                          {'id': 'Q5',
                           'question': 'Jaká je sleva na Neptun?',
                           'terms': 'neptun sleva',
                           'role': 'podpora',
                           'as_of': '2026-11-18',
                           'required': [],
                           'expected': None,
                           'behavior': 'abstain'},
                          {'id': 'Q6',
                           'question': 'Kde najdu označení formuláře hlášení?',
                           'terms': 'formulář hlášení',
                           'role': 'podpora',
                           'as_of': '2026-11-18',
                           'required': ['D3'],
                           'expected': 'F7',
                           'behavior': 'answer'}]}
def load(): return copy.deepcopy(DATA)
def eligible(d,role,as_of):
 return d['approved'] and not d['deleted'] and role in d['roles'] and d['valid_from']<=as_of and (not d['valid_to'] or as_of<d['valid_to'])


def retrieve(docs,terms,role,as_of):
 wanted=set(terms.split());return [d for d in docs if eligible(d,role,as_of) and wanted<=set(d['topic'].split())]


def evaluate(q,docs,fault=None):
 ingested=[copy.deepcopy(d) for d in docs if not(fault=='ingest' and d['id']=='D3')]
 hits=retrieve(ingested,q['terms'],q['role'],q['as_of'])
 if fault=='retrieval':hits=[]
 context=hits[:1]
 answer=context[0]['value'] if context else None
 cited=[context[0]['id']+'#'+context[0]['section']] if context else []
 if fault=='answer' and context:answer='99 hodin'
 if fault=='citation' and context:cited=['D1v1#§1']
 required=q['required'];found=[x['id'] for x in hits];passed=[x['id'] for x in context]
 ingest_ok=all(x in [d['id'] for d in ingested] for x in required)
 retrieval_ok=all(x in found for x in required)
 context_ok=all(x in passed for x in required)
 answer_ok=answer==q['expected']
 citation_ok=cited==([required[0]+'#'+next(d['section'] for d in docs if d['id']==required[0])] if required else [])
 leak=any(not eligible(x,q['role'],q['as_of']) for x in hits)
 checks={'ingest':ingest_ok,'retrieval':retrieval_ok,'context':context_ok,'answer':answer_ok,'citation':citation_ok,'no_unauthorized_context':not leak}
 first=next((k for k,v in checks.items() if not v),None)
 return {'id':q['id'],'found':found,'passed':passed,'used':[context[0]['id']] if context else [],'answer':answer,'cited':cited,'checks':checks,'first_failure':first,'pass':all(checks.values())}

f=load()
normal=[evaluate(q,f["documents"]) for q in f["evaluation_questions"]]
faults=[dict(fault=mode,**evaluate(next(q for q in f["evaluation_questions"] if q["id"]==qid),f["documents"],mode)) for mode,qid in [("ingest","Q6"),("retrieval","Q1"),("answer","Q1"),("citation","Q1")]]
print(json.dumps({"normal":normal,"faults":faults},ensure_ascii=False,indent=2))

Pro retrieval můžete sledovat podíl povinných důkazů, které se dostaly mezi výsledky, a kolik z vráceného kontextu bylo potřebných. Metriky mají známý jmenovatel a potřebují referenční anotaci. U neřešitelných dotazů se místo chybějícího „správného dokumentu“ hodnotí správné neodpovězení. Pro výklad sledujte zachování podmínek; pro citace podporu konkrétního tvrzení a správné místo.

Ragas tyto aspekty rozděluje do samostatných metrik, například context recall, faithfulness či factual correctness. Neznamenají totéž a některé varianty využívají další modelová volání. Shoda řetězce v naší fixture není Ragas faithfulness a nemá se tak nazývat.

Stanovte lidské posouzení a nejistoty

Tato mini-evaluace nemá doložené lidské doménové posouzení ani spuštěného LLM soudce. Jejich vzájemná shoda a neshody tedy nejsou změřené. Samostatný AI redakční kontrolor také není člověk. Šest úspěšných deterministických řádků neprokazuje, že by skutečný asistent obstál v provozu.

Před převzetím reálné dodávky určete odborníka, který zná dané dokumenty a schválí reference. Nechte dva hodnotitele nezávisle posoudit alespoň rizikové a nejednoznačné případy podle stejné rubriky. U neshody uchovejte oba původní verdikty, důvody a rozhodnutí třetí pověřené osoby nebo garanta. Nevyřazujte sporné řádky jen proto, že zhoršují souhrn.

Pokud přidáte LLM-as-a-judge, uložte model, prompt, rubriku, vstupní podklady a opakované verdikty. Porovnejte je s lidskými anotacemi na vymezeném vzorku a ukažte konkrétní neshody: například soudce uzná tematicky blízký zdroj, který nepodporuje výjimku. Silnější nebo jiný model může mít stále stejné slabiny. Záměna pořadí odpovědí či preference delšího textu jsou další důvody kontrolovat samotného hodnotitele.

Průměr nezaměníte za bezpečnostní bránu. Únik chráněného obsahu má vlastní závažnost a může znamenat zastavení, i kdyby ostatní odpovědi byly dobré. Zvlášť vykazujte nedokončené běhy, chyby nástrojů, odmítnutí, sporná hodnocení, čas po první užitečný výstup a dobu do hotové odpovědi. U placeného systému připojte skutečné náklady celé úlohy, ne jen cenu tokenu.

Udržujte regresní sadu a frontu zpětné vazby

Regresní sada hlídá, zda se dříve přijatelné chování po změně nezhoršilo. Spusťte ji po změně dokumentů, oprávnění, parseru, vyhledávání, promptu i modelu. U každého běhu uchovejte verze. Pokud změníte více částí najednou, lze převzít celý balík, ale příčinu rozdílu už nemusíte umět přiřadit jediné úpravě.

Palec dolů od uživatele patří do fronty pro kontrolu, ne přímo do tréninku nebo automatického trestu dokumentu. Mohl znamenat nesouhlas se správným pravidlem, chybný zdroj i nesrozumitelnou formulaci. Pověřený odborník nejprve rozhodne, co bylo špatně, doplní důkaz a vytvoří opravený test. Citlivé konverzace nezpřístupňujte všem hodnotitelům jen kvůli pohodlnému dashboardu.

Začněte tabulkou s vlastníkem opravy a termínem opakování. Držte odděleně ladicí a přejímací případy, neúspěchy nemažte a původní očekávání nepřepisujte zpětně tak, aby nová verze vyhrála. Metodika SEO testování řeší jiný typ důkazu; tady měříte interní chování asistenta, nikoli přírůstkový dopad na organickou návštěvnost. Ani monitoring AI viditelnosti není náhradou této přejímky.

Chcete převzít asistenta podle ověřitelných podmínek?

Pomohu vám vymezit scénáře, očekávané důkazy a odpovědnost za rozhodnutí o pilotu. Napište mi, co má váš asistent umět a kde by chyba měla největší následky. Doménové posouzení a technické testování zajistíme v dohodnutém rozsahu se správnými lidmi; malé demonstrační skóre za jejich práci vydávat nebudeme.

Štítky: AnalýzaB2BNávod
Předchozí článek

Firemní znalosti pro AI: kdo rozhoduje, která odpověď ještě platí

Další příspěvek

Kdy GraphRAG pomůže a kdy jen prodraží vyhledávání

Martin Bangho

Martin Bangho

Jmenuji se Martin a od roku 2015 se pohybuji ve světě online marketingu a tvorby webů. Věřím v marketing postavený na faktech, ne na iluzích. Mým cílem je pomáhat podnikatelům růst díky datově řízenému marketingu. Když zrovna neřeším marketing nebo podnikání, najdete mě ve fitku, na koncertě (hlavně hip-hop) nebo s přáteli. Jsem trochu kritik, puntičkář – ale hlavně optimista, který věří, že i marketing může být fér a ziskový.

Podobné články

Martin Bangho zvedá modrý provaz mezi třemi dřevěnými uzlovými objekty na stole.
AI & LLMs

Kdy GraphRAG pomůže a kdy jen prodraží vyhledávání

18. 11. 2026
Martin Bangho vybírá modrou složku z otevřené kartotéky v kanceláři.
AI & LLMs

Firemní znalosti pro AI: kdo rozhoduje, která odpověď ještě platí

18. 11. 2026
Muž v bílé košili vybírá modrou kartu ze skupiny oddělených pořadačů.
AI & LLMs

BlockRank: co výzkum řazení dokumentů říká a co ne

18. 11. 2026
Muž v modré košili přesouvá barevné destičky mezi stojánky.
AI & LLMs

RRF: jak Reciprocal Rank Fusion spojuje výsledky hledání

18. 11. 2026
Další příspěvek
Martin Bangho zvedá modrý provaz mezi třemi dřevěnými uzlovými objekty na stole.

Kdy GraphRAG pomůže a kdy jen prodraží vyhledávání

Odebírat
Upozornit na
0 Komentáře
Nejstarší
Nejnovější Nejlépe hodnocené

Bangho Martin

SEO Konzultant & AI Strategist

Specializuji se na datově řízené strategie, které propojují týmovou spolupráci napříč firmou, od obchodu přes vývoj až po obsah, s tvorbou plánů, jež posilují značku i výkonnost v konkurenčním prostředí.

Štítky

Analýza B2B B2C Brand E-commerce Google Nástroje Návod Off-page SEO On-page SEO Reporty z akcí SaaS Technické SEO Teorie User Experience Webové stránky

Nejnovější příspěvky

  • Kdy GraphRAG pomůže a kdy jen prodraží vyhledávání
  • Jak otestovat firemního AI asistenta: otázky, zdroje a chyby před spuštěním
  • Firemní znalosti pro AI: kdo rozhoduje, která odpověď ještě platí
  • Google Discover: podmínky, obrázky a měření bez slibů
  • BlockRank: co výzkum řazení dokumentů říká a co ne
  • SEO Pivo
  • Marketingová Plzeň
  • AI Bootcamp
  • Kontakt

© 2025 Martin Bangho - SEO Konzultant & AI Strategist

Welcome Back!

Login to your account below

Forgotten Password?

Retrieve your password

Please enter your username or email address to reset your password.

Log In
  • GEO & SEO
  • AI
  • Marketing
[email protected]

© 2025 Martin Bangho - SEO Konzultant & AI Strategist

Tato webová stránka používá soubory cookie. Pokračováním v jejím používání vyjadřujete souhlas s jejich používáním. Navštivte naši Zásady ochrany osobních údajů a používání cookies.