AI kvaliteedi hindamine

Ehita näidetest, hindamisjuhendist ja tootmismõõdikutest kontroll, mis märkab regressiooni enne kasutajat.

Koostaja: AiKood · tasuta õppematerjal

Kahe digitaalse osapoole turvalise ühenduse illustratsioon — Usaldusväärne AI lahendus kaitseb andmeid ja laseb tulemust kontrollida.

Õpieesmärk

Oskad koostada esindusliku testkogumi, hinnata vastuseid ühtse rubriigiga ja seada kasutuse jälgimise piirid.

„Tundub hea“ ei ole test

AI väljund võib olla mitmel viisil sobiv, seega vaja on ülesandepõhist hindamisjuhendit. Erista faktitäpsus, täielikkus, vorm, allikatoetus ja ohutus.

HINDAMISRUBRIIK (0–2 punkti tunnuse kohta)
Täpsus: väited vastavad allikale
Täielikkus: vajalikud osad on olemas
Vorm: väljund vastab skeemile
Allikad: viited toetavad väiteid
Ohutus: keelatud tegevust või andmeleket ei ole

Koosta esinduslik kuldkomplekt

Testid peavad sisaldama tavalisi, piiripealseid, mitmekeelseid, pahatahtlikke ja vastuseta juhtumeid. Iga näite juures hoia oodatud omadused, mitte alati üht kohustuslikku lauset.

Kogu päris kasutusjuhtumite tüübid.
Anonümiseeri või loo ohutud näited.
Lisa oodatud faktid ja keelatud vead.
Lase valdkonna asjatundjal rasked juhtumid üle vaadata.
Versioonista andmestik ja rubriik.

Käivita regressioon enne muudatust

Võrdle prompti, mudeli, otsingu või tööriista muudatust sama testkogumi peal. Vaata keskmise kõrval kriitiliste juhtumite läbimist, viivitust ja kulu.

{
  "caseId": "support-017",
  "input": "...",
  "expectedFacts": ["..."],
  "forbiddenClaims": ["..."],
  "requiredSources": ["policy-v3"],
  "maxLatencyMs": 8000
}

Jälgi tootmist privaatselt

Mõõda skeemivigu, keeldumisi, eskaleerimisi, kasutaja parandusi, kestust ja kulu. Kvaliteediproovide jaoks kasuta selget säilitusaega, ligipääsu ning võimalusel anonümiseeritud või sünteetilist sisu.

PANE TÄHELE

Praktilised märkused

Mudeli enda hinne võib aidata sortida, kuid vajab kalibreerimist inimese hinnanguga.
Keskmine hinne võib peita ühe väikese, kuid kriitilise kasutusjuhu täieliku ebaõnnestumise.

VÄLDI

Levinud vead

Ainult õnnestunud demo-promptide kasutamine testkomplektina.
Mudeli või prompti vahetamine ilma sama andmestiku võrdluseta.

TEE NII

Hea tava

Seo iga vastuvõtupiir ärilise või kasutajariskiga.
Säilita ebaõnnestunud juhtum regressioonitestina pärast parandust.

PROOVI ISE

Praktiline harjutus

Koosta kümne juhtumiga testkogum: kuus tavalist, kaks piirjuhtu, üks pahatahtlik ja üks vastuseta küsimus. Lisa viieosaline rubriik ning minimaalne läbimislävi.

ARUTA JA KÜSI

Mis jäi lahtiseks?

Jaga harjutuse tulemust või küsi teema kohta avalikus AI-vestluses. Ära postita saladusi ega isikuandmeid.