Ako merať AI pilot: pred spustením a deväťdesiat dní po ňom

Pilot beží tretí mesiac. Asistent funguje, ľudia ho reálne používajú, na porade sa naň nikto nesťažuje. A potom sa niekto oprie do stoličky a položí jednoduchú otázku: oplatil sa? V miestnosti nastane ticho. Nie preto, že by bola odpoveď zlá – ale preto, že ju nikto nevie povedať. Jeden má pocit, že sa ušetril čas. Druhý si nie je istý. Tretí pripomenie, koľko to stálo. A rozhodnutie, či ísť ďalej, sa nakoniec spraví rovnako, ako keby žiaden pilot nebežal – podľa toho, kto v miestnosti hovorí najpresvedčivejšie.

Pilot bez meradla je skúška dojmov

Toto nie je zlyhanie nástroja ani ľudí. Je to dôsledok jednej veci, ktorú nikto nedohodol na začiatku: ako spoznáme, že sa to podarilo. Pilot, ktorý sa spustí bez meradla, nie je pilot. Je to skúška dojmov – a dojmy sa po troch mesiacoch líšia človek od človeka, lebo si každý pamätá inú verziu toho, ako to bolo predtým.

A práve v tom „predtým“ je jadro problému. Aby ste vedeli, či sa ručička pohla, musíte poznať bod, z ktorého sa pohla. Ak si nikto nezapísal, ako dlho daná úloha trvala pred pilotom, koľko chýb v nej vznikalo alebo koľko ich denne pribudlo na stôl, nemáte s čím porovnávať. Snímka „potom“ vám bez snímky „predtým“ nepovie nič. Meranie pilotu sa preto nezačína na konci. Začína skôr, než sa čokoľvek zapne.

Štyri veci, ktoré patria na papier pred spustením

Nie je to veda a nezaberie to viac než jedno posedenie. Pred spustením pilotu sa oplatí dohodnúť štyri veci – a napísať ich, nie nechať v hlavách:

Keď hranicu určíte až po tom, ako vidíte výsledky, prispôsobíte ju tomu, čo chcete počuť.

Východiskový stav. Kde sme dnes, číselne alebo aspoň odhadom, na ktorom sa zhodneme. Koľko trvá spracovanie jednej objednávky, koľko dopytov denne zostane cez noc nevybavených, ako často sa daná chyba vráti. Bez tohto čísla nemáte odkiaľ merať.

Jedno hlavné meradlo. Nie desať ukazovateľov – jedno, o ktorom platí, že ak sa pohne ono, pilot má zmysel. Viac meradiel znamená, že sa vždy nájde jedno, ktoré vyzerá dobre, a debata sa zvráti k dojmom.

Kto ho sleduje. Konkrétne meno, nie „to bude vidno“. Človek, ktorý meradlo odčíta, prinesie ho na poradu a povie ho nahlas. Bez vlastníka sa číslo nesleduje a po mesiaci naň nikto nespomenie.

Hranica rozhodnutia. Čo musí platiť, aby sme škálovali, a čo znamená, že zastavíme. Dohodnutá vopred, kým do nej nezasahuje ješitnosť ani utopené náklady. Keď hranicu určíte až po tom, ako výsledky vidíte, prispôsobíte ju tomu, čo chcete počuť.

Deväťdesiat dní: odčítať, nie odhadovať

Prečo práve tri mesiace? Kratší čas väčšinou nestačí na to, aby sa nový spôsob práce usadil – prvé týždne je starý postup ešte rýchlejší a čísla ukazujú skôr trenie zo zaúčania než skutočný prínos. Deväťdesiat dní je dosť na to, aby sa pilot dostal cez toto obdobie a ukázal hodnotu, ktorú vie držať aj v bežnom týždni, nie len na demo dni.

Pilot, ktorý sa spustí bez meradla, nie je pilot. Je to skúška dojmov.

Po nich sa vráťte k tomu istému papieru. Odčítajte hodnotu, porovnajte ju s východiskovým stavom a priložte ju k dohodnutej hranici. Výsledok je jeden z troch: škálovať (meradlo sa pohlo cez hranicu, ideme to rozšíriť), doladiť (niečo sa hýbe, ale nie dosť – vieme, čo upraviť, a dáme tomu ďalšie kolo) alebo zastaviť (nepohlo sa to a vieme prečo). To tretie nie je prehra. Firma, ktorá vie pilot čestne ukončiť a povedať to nahlas, ušetrí rozpočet, ktorý by inak roky tiekol do niečoho, čo len vyzerá, že žije.

Tá istá porada, dvakrát

Predtým: „Mne to príde užitočné.“ – „Neviem, ja to až tak nevidím.“ – „Koľko nás to vlastne stojí?“ Rozhodnutie padne podľa nálady v miestnosti a o pol roka sa tá istá debata zopakuje s rovnako nejasnými spomienkami.

Potom: vlastník meradla povie jednu vetu. „Spracovanie dopytu trvalo v priemere štyri hodiny, teraz hodinu a pol; dohodnutá hranica bola pod dve. Odporúčam škálovať.“ Debata trvá o polovicu kratšie a jej záver sa dá o rok dohľadať. Nezmenilo sa to, čo firma robí – zmenilo sa, na základe čoho sa rozhoduje.

To, čo firma robí, sa nemení. Mení sa, na základe čoho sa rozhoduje.

Nie všetko sa dá zmerať na eurá

Tu treba byť úprimný. Nie každý prínos má cenovku a tváriť sa, že áno, by znamenalo vymýšľať si čísla. Keď asistent uvoľní ľuďom hodiny na prácu, ktorá sa lepšie neodkladá, je poctivejšie merať ušetrený čas alebo pokles chýb než ho nasilu prepočítavať na ušetrené mzdy, ktoré nikto neprepustí. Aj čas a kvalita sú platné meradlá – pokiaľ ste ich zmerali pred aj po, nie odhadli spätne.

A platí to aj naopak. Malý, lacný pilot netreba premeriavať na smrť. Ak overujete jednu drobnú automatizáciu za pár stoviek, stačí jedno číslo a zdravý úsudok – budovať okolo nej meraciu aparatúru drahšiu než samotný pilot nemá zmysel. Meradlo má byť úmerné tomu, čo je v hre. Čím väčšie rozhodnutie z pilotu vyplynie, tým viac sa oplatí vedieť, na čom stojí.

Meradlo nie je byrokracia navyše. Je to jediný spôsob, ako z pilotu vyjsť s rozhodnutím namiesto s ďalšou poradou o dojmoch. Preto pilot, ktorý staviame, má dohodnuté kritérium úspechu skôr, než sa čokoľvek zapne – jeden proces, jasný rozsah a číslo, o ktorom sa na konci dá hovoriť. Ako to prebieha, nájdete na stránke služby AI asistenti a automatizácie.

A ak vám scéna z úvodu pripomenula pilot, ktorý u vás potichu doznel, oplatí sa vedieť, prečo sa to stáva a čo majú spoločné piloty, ktoré prežijú: prečo väčšina AI pilotov vyšumí.