AI-rakenduste ehitamine
Multimodaalne AI: pilt, heli ja tekst
Kavanda AI töövoog, mis ühendab teksti pildi või heliga ning arvestab faili, privaatsuse ja eksimisriskiga.
Sisukord4 peatükki · näita
Oskad kirjeldada multimodaalse sisendi andmevoogu, valida inimese kontrollpunkti ja testida eri kvaliteediga näiteid.
Pilt ja heli vajavad ülesandepõhist piiri
Multimodaalne mudel võib kirjeldada pilti, tuvastada kõnest teksti või siduda eri sisendeid üheks vastuseks. See ei tähenda, et ta näeb kõiki detaile või mõistab salvestuse tausta õigesti. Ütle, mida hinnata, mis jääb teadmata ja millist järeldust ei tohi teha.
- Määra lubatud sisenditüübid ja ülesanne.
- Vali sobiv failisuuruse ning kestuse piir.
- Küsi tulemus kindlas vormis.
- Näita ebakindlust ja paku inimese kontrolli.
Töötle faili nagu ebausaldatud sisendit
Kontrolli faili suurust, tegelikku vormingut ja õigust seda töödelda. Eemalda mittevajalik metaandmestik, väldi avalikke püsilinke ning saada mudelile ainult ülesande jaoks vajalik sisu. Helisalvestis ja pilt võivad sisaldada kõrvaliste inimeste isikuandmeid.
Testi päris kvaliteedipiire
Koosta testid eri valguse, nurga, eraldusvõime, müra, aktsendi ja taustaga. Lisa juhtumid, kus vastust ei saa sisendi põhjal anda, ning kontrolli, et rakendus ei mõtle detaile juurde.
TESTI SISENDI ERINEVUST
Pilt: selge · udune · osaliselt varjatud · tekstiga
Heli: vaikne · mürane · mitu kõnelejat · pausidega
Kontroll: täpsus · ebakindlus · andmeleke · varuvariantKuva kasutajale, mida süsteem tegelikult tegi
Erista mudeli kirjeldus kontrollitud faktist. Kui tulemus mõjutab ligipääsu, ohutust, raha või inimese hindamist, ära lase automaatsel tõlgendusel olla ainus otsustaja. Ütle, kuhu fail saadetakse, kui kaua seda hoitakse ja kuidas töö katkestada.
Praktilised märkused
- Ära lisa heli või pilti ainult uudsuse pärast: vorm või tavaline tekst võib olla lihtsam ja täpsem.
- Kontrolli kasutaja luba ja kolmandate isikute andmete töötlemise alust.
Levinud vead
- Mudeli pildi- või helikirjelduse käsitlemine mõõtmise või isikutuvastuse tõendina.
- Faili saatmine kolmandale teenusele ilma suuruse, tüübi ja andmevoo kontrollita.
Hea tava
- Näita, milline fail ja milline osa sisendist tulemust mõjutas.
- Paku ebaõnnestumise korral tekstilist või inimese tehtavat varuvarianti.
Praktiline harjutus
Kavanda pildi või heliga üks madala riskiga kasutusjuht. Joonista failiteekond, lisa viis keerulist testnäidet, kasutajale nähtav nõusolek ja varuvariant.
AiKood.online on selle õppeprogrammi praktiline arenduslabor. Kirjuta koodi ja salvesta projekt oma ühisele AiKoodi kontole. Labor näitab, kas koodi käivitamine ja kontrolltestid on parasjagu saadaval.
Jätka selle teemaga arenduslaboris ↗Kas see osa on tehtud?
Märge salvestatakse ainult sellesse brauserisse. Kontot ega jälgimist ei lisata.
Mis jäi lahtiseks?
Jaga harjutuse tulemust või küsi teema kohta avalikus AI-vestluses. Ära postita saladusi ega isikuandmeid.