Kvaliteet ja turvalisus
AI-rakenduse seire ja tootmiskvaliteet
Lisa AI funktsioonile privaatsust säästvad jäljed, kvaliteedi- ja kulumõõdikud, häirepiirid ning turvaline tagasipööre.
Sisukord4 peatükki · näita
Oskad määrata AI tootmisseire põhimõõdikud, andmekaitse piirid, häire tegevusplaani ja regressiooni kontrolli.
Jälgi kogu päringuteekonda
Päringu jälg peaks näitama, milline etapp ebaõnnestus: sisendi kontroll, otsing, mudelikutse, tööriist, väljundi kontroll või inimese kinnitus. Kasuta juhuslikku päringu ID-d, et teenuseid ühendada ilma liigset sisu kopeerimata.
- Salvesta aeg, etapi nimi ja lõpptulemus.
- Mõõda p50 ja p95 latentsust.
- Jälgi mahtu, korduskatseid, piirangut ja kuluhinnangut.
- Seo vead ohutu koodiga; ära lisa stack trace’i ega saladusi kasutajale.
Mõõda kvaliteeti koos tehnilise tervisega
Kõrge saadavus ei taga õiget vastust. Vaata koos tehniliste mõõdikutega lahenduse kvaliteedi näidisauditit, allikatoetust, kasutaja parandusi, keeldumisi ja inimesele üleandmisi. Eralda mõõdikud kasutusjuhu järgi.
Minimeeri jälgedes tundlikke andmeid
Prompti ja mudeli vastuse täistekst võib sisaldada isikuandmeid või ärisaladust. Ära talleta seda vaikimisi. Kui sisu on konkreetseks veaanalüüsiks vajalik, määra eesmärk, ligipääs, redaktsioon, säilitustähtaeg ja kustutamine ning kasuta lubatud testandmeid.
Ohutu jälje näide:
requestId: random-id
route: /api/assistant
modelVersion: configured-version
inputUnits: 410
outputUnits: 180
latencyMs: 920
result: validated
Ära logi vaikimisi: API võtmeid, küpsiseid ega toorest prompti.Muuda häire kasutatavaks tegevuseks
Häire peab ütlema, kes tegutseb, milline mõju on kasutajale ja kuidas ohutult jätkata. Seo see mõõdetud lävega, näiteks veamäära või kulupiiriga; uue mudeli, prompti või allika muudatuse puhul käivita sama regressioonikomplekt.
- Määra teenuse ja kvaliteedi vastutaja.
- Pane paika häire ning eskalatsioon.
- Dokumenteeri kaitselüliti ja tagasipööre.
- Vaata rikke järel läbi põhjus ning lisa regressioonitest.
Praktilised märkused
- Mõõda inimese parandusi ja töö tulemust; üksnes mudelikõne kestus ei näita kasutajaväärtust.
- Seireandmed ise vajavad ligipääsupiirangut ja säilitamise reeglit.
Levinud vead
- Toore vestluse salvestamine „igaks juhuks“.
- Häirete seadmine ilma vastutaja, kasutajateavituse või tagasipöördeplaanita.
Hea tava
- Kasuta minimaalseid struktureeritud sündmusi ja lühikest säilitustähtaega.
- Võrdle muudatusi testkomplekti ning ette määratud kvaliteedipiiridega.
Praktiline harjutus
Koosta ühe AI teenuse seireplaan: kaheksa mõõdikut, välistatud tundlikud väljad, kolm häireläve, iga häire vastutaja ja tagasipöörde samm.
AiKood.online on selle õppeprogrammi praktiline arenduslabor. Kirjuta koodi ja salvesta projekt oma ühisele AiKoodi kontole. Labor näitab, kas koodi käivitamine ja kontrolltestid on parasjagu saadaval.
Jätka selle teemaga arenduslaboris ↗Kas see osa on tehtud?
Märge salvestatakse ainult sellesse brauserisse. Kontot ega jälgimist ei lisata.
Mis jäi lahtiseks?
Jaga harjutuse tulemust või küsi teema kohta avalikus AI-vestluses. Ära postita saladusi ega isikuandmeid.