Pozorovateľnosť je vrstva chýbajúceho agenta
Väčšina tímov odošle pracovné postupy agentov skôr, ako odošle nástroje potrebné na ich pochopenie.
Zvyčajne môžete nájsť výzvy, výstupy modelu a nespracované protokoly. Chýba medzi nimi spojivové tkanivo: popravný príbeh. Ktorá akcia sa spustila ako prvá, aké údaje čítala, akého nástroja sa dotkla, ktorá cesta opätovného pokusu sa spustila a čo musel operátor nakoniec opraviť ručne.
Prečo sú záznamy nedostatočné
Protokoly vám hovoria, že udalosti sa stali. Nemusia vám nevyhnutne povedať, do ktorého stavu pracovného toku tieto udalosti patrili alebo či boli očakávané. Toto je rozdiel medzi hlukom a diagnostickým dôkazom.
Čo inštrumentovať
- ID pracovného toku a ID kroku
- identita herca: model, automatizácia alebo človek
- vstupy nástrojov a súhrnné výstupy
- počet opakovaných pokusov a dôvod eskalácie
- terminálny stav s jednoduchou príčinou
Operatívna odmena
Keď je to viditeľné, konverzácia sa zmení. Tímy prestanú obviňovať model ako monolit a začnú vidieť konkrétne spôsoby zlyhania: zastaraný kontext, porušené predpoklady, slabé podmienky opakovania, nejednoznačné vlastníctvo kontroly.
Skutočná chýbajúca vrstva
Pozorovateľnosť nie je bonusová schopnosť. V prípade agentových systémov je to vrstva, ktorá premieňa „AI urobila niečo divné“ na opraviteľný technický problém.
Pozorovateľnosť je vrstva chýbajúceho agenta
Väčšina tímov odošle pracovné postupy agentov skôr, ako odošle nástroje potrebné na ich pochopenie.
Zvyčajne môžete nájsť výzvy, výstupy modelu a nespracované protokoly. Chýba medzi nimi spojivové tkanivo: popravný príbeh. Ktorá akcia sa spustila ako prvá, aké údaje čítala, akého nástroja sa dotkla, ktorá cesta opätovného pokusu sa spustila a čo musel operátor nakoniec opraviť ručne.
Prečo sú záznamy nedostatočné
Protokoly vám hovoria, že udalosti sa stali. Nemusia vám nevyhnutne povedať, do ktorého stavu pracovného toku tieto udalosti patrili alebo či boli očakávané. Toto je rozdiel medzi hlukom a diagnostickým dôkazom.
Čo inštrumentovať
- ID pracovného toku a ID kroku
- identita herca: model, automatizácia alebo človek
- vstupy nástrojov a súhrnné výstupy
- počet opakovaných pokusov a dôvod eskalácie
- terminálny stav s jednoduchou príčinou
Operatívna odmena
Keď je to viditeľné, konverzácia sa zmení. Tímy prestanú obviňovať model ako monolit a začnú vidieť konkrétne spôsoby zlyhania: zastaraný kontext, porušené predpoklady, slabé podmienky opakovania, nejednoznačné vlastníctvo kontroly.
Skutočná chýbajúca vrstva
Pozorovateľnosť nie je bonusová schopnosť. V prípade agentových systémov je to vrstva, ktorá premieňa „AI urobila niečo divné“ na opraviteľný technický problém.
