Pozorovatelnost je vrstva chybějícího agenta
Většina týmů odesílá pracovní postupy agentů dříve, než odešlou nástroje potřebné k jejich pochopení.
Obvykle můžete najít výzvy, výstupy modelu a nezpracované protokoly. Chybí mezi nimi pojivová tkáň: popravčí příběh. Která akce se spustila jako první, jaká data přečetla, kterého nástroje se dotkla, která cesta opakování se spustila a co nakonec musel operátor opravit ručně.
Proč jsou protokoly nedostatečné
Protokoly vám říkají, že se události staly. Nemusí vám nutně říkat, ke kterému stavu pracovního postupu tyto události patřily nebo zda byly očekávány. To je rozdíl mezi hlukem a diagnostickým důkazem.
Co instrumentovat
- ID pracovního postupu a ID kroku
- identita herce: model, automatizace nebo člověk
- nástrojové vstupy a souhrnné výstupy
- počet opakování a důvod eskalace
- stav terminálu s jasnou příčinou
Provozní výnos
Jakmile je toto vidět, konverzace se změní. Týmy přestanou obviňovat model jako monolit a začnou vidět konkrétní způsoby selhání: zastaralý kontext, porušené předpoklady, slabé podmínky opakování, nejednoznačné vlastnictví revize.
Skutečná chybějící vrstva
Pozorovatelnost není bonusová schopnost. Pro agentní systémy je to vrstva, která mění „AI udělala něco divného“ na opravitelný technický problém.
Pozorovatelnost je vrstva chybějícího agenta
Většina týmů odesílá pracovní postupy agentů dříve, než odešlou nástroje potřebné k jejich pochopení.
Obvykle můžete najít výzvy, výstupy modelu a nezpracované protokoly. Chybí mezi nimi pojivová tkáň: popravčí příběh. Která akce se spustila jako první, jaká data přečetla, kterého nástroje se dotkla, která cesta opakování se spustila a co nakonec musel operátor opravit ručně.
Proč jsou protokoly nedostatečné
Protokoly vám říkají, že se události staly. Nemusí vám nutně říkat, ke kterému stavu pracovního postupu tyto události patřily nebo zda byly očekávány. To je rozdíl mezi hlukem a diagnostickým důkazem.
Co instrumentovat
- ID pracovního postupu a ID kroku
- identita herce: model, automatizace nebo člověk
- nástrojové vstupy a souhrnné výstupy
- počet opakování a důvod eskalace
- stav terminálu s jasnou příčinou
Provozní výnos
Jakmile je toto vidět, konverzace se změní. Týmy přestanou obviňovat model jako monolit a začnou vidět konkrétní způsoby selhání: zastaralý kontext, porušené předpoklady, slabé podmínky opakování, nejednoznačné vlastnictví revize.
Skutečná chybějící vrstva
Pozorovatelnost není bonusová schopnost. Pro agentní systémy je to vrstva, která mění „AI udělala něco divného“ na opravitelný technický problém.
