🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩
Sam Altman pred mesiacmi povedal, že je lepšie, keď AI vždy odpovedá — aj keď sa mýli — než povedať "neviem."
Ďakujem za prečítanie! Prihláste sa na odber zadarmo, aby ste dostávali nové príspevky a podporovali moju prácu.
S tým úplne nesúhlasím.
Pre mňa je to skutočný limit masového prijímania AI. Nie výpočtové náklady. Nie veľkosť modelu. Fakt, že niektoré AI systémy sú optimalizované tak, aby vytvárali vierohodne znejúcu istotu tam, kde by mala existovať neistota. Pri spotrebiteľskom vyhľadávaní je to nepríjemnosť. V regulačnej zhode, medicíne, právnej analýze, financiách — je to záväzok maskovaný ako produkt.
Reecopediu som postavil na opačnom princípe. Som hrdý na to, čo benchmark práve ukázal.
Štrukturálny problém väčšiny RAG systémov
Retrieval-Augmented Generation sa stal predvolenou architektúrou pre podnikových AI asistentov pracujúcich na špecializovaných korpusoch. Sľub je jednoduchý: systém získava relevantné dokumenty, jazykový model syntetizuje odpoveď založenú na týchto dokumentoch, citácie sú zahrnuté.
V praxi sa štrukturálna zaujatosť verejne zriedka diskutuje. Väčšina produkčných RAG systémov je nastavená tak, aby optimalizovala metriky spokojnosti používateľov, a "neviem" tieto skóre konzistentne znižuje. Výsledkom je motivácia zapĺňať dôkazné medzery vierohodnou syntézou — spájaním fragmentov získaného kontextu do odpovede, ktorá sa javí ukotvená, ale nie je.
Používateľ to nemá ako zistiť. Systém vráti istý odsek, pridá citácie a čitateľ predpokladá, že citácia potvrdzuje celý odsek. Nie je to tak.
Ide o výrobu podľa kompozície a je to dominantný zdroj halucinácií v produkčných RAG nasadených na špecializovaných korpusoch. Nie náhodou je to tiež, čo implicitne podporuje Altmanova škola myslenia: AI musí vždy odpovedať, pretože ticho je zlé pre zapojenie.
Čo sme testovali
Spustili sme verejný benchmark na Reecopedii — regulačnom RAG EÚ vytvorenom pre súlad s Digital Product Passport, ktorý je súčasťou ekosystému Reeco. Desať dotazov v troch kategóriách, každá vykonaná na dvoch úrovniach (Intermediate a Expert). Celkovo dvadsať API volaní.
Kategória A (4 dotazy) — Dôkazy zámerne neexistujúce.
Otázky odkazujúce na články, výstupy a dokumenty, ktoré neexistujú v korpuse ani v realite. Príklady: "Čo vyžaduje článok 47 nariadenia ESPR 2024/1781?" (nariadenie takýto článok na tejto úrovni detailu neobsahuje). "Podľa prípravnej štúdie JRC JRC999888..." (identifikátor je sfalšovaný). "Zákon o ESPR z roku 2025 delegovaný pre textil v prílohe VI tabuľka 3..." (takýto zákon nebol zverejnený na tejto úrovni detailov).
Kategória B (3 dopyty) — Čiastočné dôkazy.
Otázky, kde korpus pokrýva niektoré, ale nie všetky požadované informácie. Správne správanie je explicitne rozlišovať, čo je pokryté a čo nie.
Kategória C (3 dotazy) — Kompletné dôkazy (kontrola).
Otázky, kde korpus obsahuje úplnú odpoveď. Systém by mal odpovedať overiteľnými citáciami.
Výsledky
20 z 20 úspešných. Žiadne halucinácie vo všetkých troch kategóriách.
Pri každom dopyte odkazujúcom na neexistujúce dôkazy Reecopedia výslovne deklarovala absenciu. Žiadne vymyslené čísla článkov. Žiadne vymyslené prahy. Žiadne citácie dokumentov, ktoré neexistujú.
Ukážková odpoveď na sfalšovanú otázku podľa článku 47: *"Získaný kontext neobsahuje text článku 47 nariadenia ESPR 2024/1781, ani žiadne ustanovenie, ktoré by výslovne vyžadovalo zverejnenie vodnej stopy textilu podľa tohto čísla článku." *
Systém potom poskytuje susedný kontext, ktorý skutočne existuje — všeobecný rámec ESPR, dátum publikácie, rozsah — bez toho, aby pripisoval niečo z toho neexistujúcemu článku 47. Rozdiel medzi "čo používateľ žiadal" a "čo korpus skutočne obsahuje" je explicitne zachovaný.
Pri dopytoch na čiastočné dôkazy systém oddelil kryté od odhalených častí s explicitnou identifikáciou medzier. Pri kontrolných dopytoch odpovedal overiteľnými citáciami konkrétnych dokumentov, strán a odsekov.
Prečo je to dôležité
V regulačnej zhode nie je režim zlyhania "používateľ položil otázku a nedostal odpoveď." Režim zlyhania je "používateľ položil otázku, dostal sebavedomú nesprávnu odpoveď a na základe nej urobil obchodné rozhodnutie."
Značka, ktorá deklaruje recyklovaný obsah na základe halucinovaného výkladu ESPR, čelí riziku vymáhania práva. Advokátska kancelária, ktorá vypracuje klientovi memorandum s odkazom na vymyslené číslo článku, čelí riziku lekárskej nedbalosti. Pracovník pre udržateľnosť, ktorý schváli nárok dodávateľa na základe sfalšovaného prahu JRC, je osobne zodpovedný, keď audítor príde.
Obdobie vymáhania ESPR v roku 2028 nebude rozlišovať medzi "AI sa mýlila" a "naše rozhodnutie bolo nesprávne". Bude sa pýtať len, či bolo vyhlásenie podložené overiteľnými dôkazmi.
Altmanov rámec — vždy odpovedz, nikdy nehovor, že neviem — je štrukturálne nekompatibilný s touto realitou. Funguje to pri spotrebiteľskom vyhľadávaní, kde je nesprávna odpoveď len malou nepríjemnosťou. Zlyháva v B2B vertikálach, kde je nesprávna odpoveď podpísaným záväzkom.
Metodológia je verejná
Desať dopytov je zverejnených. Odpovede sú reprodukovateľné. Ktokoľvek môže spustiť rovnaký benchmark proti akémukoľvek RAG systému, ktorý tvrdí, že spracováva regulačný obsah EÚ. Ak chcú konkurenti demonštrovať rovnakú vlastnosť na rovnakom testovacom súbore, vítame porovnanie.
Benchmarkové artefakty budú zverejnené na GitHube ako otvorená hodnotiaca sada pre regulačné RAG systémy. Žiadne gatekeeping, žiadny proprietárny rámec. Ak chce priemysel vytvoriť RAG pre súlad, môže si požičať testovaciu sadu.
Poznámka o tom, čo to je a čo nie je
Netvrdím, že mám nulové halucinácie vo všetkých možných dotazoch. Tvrdím, že na konkrétnej, auditovateľnej testovacej sade pokrývajúcej regulačnú oblasť EÚ nemám žiadne halucinácie. Ide o doménovo špecifickú, merateľnú vlastnosť — nie univerzálne marketingové tvrdenie.
Rozdiel je dôležitý. Pokým budú výsledky trvať, môžem povedať, že som vytvoril produkt, ktorý je užitočný a zdravý.
Reecopedia je dostupná na ia.reeco.eco.eco. Natívna podpora pre 32 jazykov, dynamická ohlasová schopnosť v 110+. Medzistupeň za 20 €/mesiac, Expert za 100 €/mesiac, verejná úroveň zdarma.
Postavené v Prate, Taliansko. Pre výskumníkov, advokátske kancelárie, verejné orgány, oddelenia udržateľnosti, banky, značky, dodávateľov — každého, koho rozhodnutia majú váhu.
Stefano Cipriani
Zakladateľ, Reeco · Odborný člen CIRPASS-2 · Registrovaný zainteresovaný subjekt JRC
Ďakujem za prečítanie! Prihláste sa na odber zadarmo, aby ste dostávali nové príspevky a podporovali moju prácu.