Vyberte úlohu, ktorej výsledok poznáte
Úvahy o AI vo firme sa často začnú výberom nástroja. Užitočnejší prvý krok je opísať pracovnú úlohu: aké má vstupy, čo má vzniknúť a kto výsledok používa. Až potom sa dá posúdiť, kde pomôže prepojenie aplikácií, bežná automatizácia alebo AI.
Praktickým príkladom môže byť príprava prehľadu z dokumentov, triedenie došlých požiadaviek alebo spracovanie udalostí zo zariadení. Ide o možné zadania na overenie. Ich vhodnosť závisí od dostupných údajov, výnimiek a požadovanej presnosti; samotná ukážka ešte nepreukazuje použiteľnosť v každodennej prevádzke.
Spíšte proces a zodpovednosť
NIST AI RMF prepája riadenie rizík s pochopením kontextu, meraním a ďalšou správou systému. Pre menší pilot sa tento pohľad dá preniesť do konkrétneho zadania. Určte vlastníka procesu, zodpovedného posudzovateľa a hranice toho, čo bude systém robiť.
Pomôžu štyri otázky:
- Odkiaľ prichádzajú údaje a kto ich smie použiť?
- Ako vyzerá správny výsledok a podľa čoho ho overíme?
- Ktoré chyby môže človek opraviť a ktoré sú neprijateľné?
- Čo sa má stať, keď systém nedokáže úlohu dokončiť?
Takto vznikne základ, podľa ktorého sa dá porovnať aj viac technických možností. Pri úlohe s presnými pravidlami môže postačiť priama integrácia medzi aplikáciami. Pri rozmanitých textových vstupoch možno skúšať AI, ak je možné výsledok primerane skontrolovať.
Dáta a oprávnenia riešte pred pilotom
NCSC pri bezpečnom návrhu odporúča posudzovať citlivosť údajov, externých dodávateľov aj rozsah možných akcií systému. Do pilotu preto vyberte dohodnutú vzorku a určte, kde sa smie spracúvať. Posúďte aj uloženie vstupov, výstupov a záznamov prevádzky.
Ak má riešenie meniť súbory alebo posielať údaje do ďalšej aplikácie, potrebuje obmedzené oprávnenia a kontrolu týchto krokov. Rozsah prístupov má vychádzať z úlohy. Pripojenie ku všetkým firemným dátam by nemalo byť automatickým východiskom.
Hodnotenie musí zachytiť aj chyby
Generatívny profil NIST upozorňuje na presvedčivo formulované nepravdivé výstupy aj nadmernú dôveru ľudí v automatizáciu. Hodnotenie preto potrebuje bežné prípady, neúplné vstupy a výnimky. Odborník má overiť obsah, nie iba to, či výstup pôsobí prirodzene.
Pri prehľade z dokumentov sa napríklad dá sledovať správnosť údajov, dohľadateľnosť podkladu a čas potrebný na kontrolu. Pri triedení požiadaviek sú dôležité nesprávne zaradenia a pravidlá ich opravy. Meranie zvoleného rozsahu je presvedčivejšie než všeobecný prísľub úspory bez podkladov.
Pre pilot spracovania dokumentov sa dá pripraviť dohodnutá vzorka s ručne overenými očakávanými údajmi. Časť prípadov môže obsahovať chýbajúce alebo nejednoznačné informácie. Hodnotiteľ potom zaznamená, ktoré polia boli správne, kde systém potreboval doplnenie a ako dlho trvala kontrola. Ide o návrh skúšky, nie o tvrdenie o dosiahnutej presnosti konkrétneho nástroja.
Pilot sa končí rozhodnutím o ďalšom kroku
Zapíšte použitú vzorku, výsledky, otvorené otázky a potrebnú ľudskú kontrolu. NIST zdôrazňuje testovanie pred nasadením aj priebežné sledovanie počas prevádzky. Zmena údajov, modelu alebo pracovného postupu môže zmeniť aj výsledok, preto má byť jasné, kto riešenie ďalej spravuje.
V ETS-SL pristupujeme k automatizácii a AI ako k individuálnemu návrhu s konkrétnym cieľom. Prvým výstupom môže byť mapa procesu, overenie dostupných rozhraní alebo ohraničený pilot. Rozšírenie do prevádzky má vychádzať zo zistení a dohodnutých podmienok.