Tool calling ehk tööriistakutsed

Mudel teeb ettepaneku, rakendus otsustab

Tööriistakutse on struktureeritud kavatsus, näiteks „otsi tellimus“ või „loo kalendrisündmus“. Sinu kood kontrollib nime, argumente, kasutaja õigusi ja riski enne päris funktsiooni käivitamist.

1. Kirjelda mudelile lubatud tööriistad ja nende skeemid.
2. Võta vastu tööriistakutse ettepanek.
3. Valideeri argumendid ja autoriseerimine.
4. Küsi vajadusel inimeselt kinnitus.
5. Käivita kitsas serverifunktsioon.
6. Tagasta tulemus mudelile või otse kasutajale.

Tööriist peab olema kitsas

Üldine „käivita päring“ või „tee HTTP päring“ annab liiga suure mõju. Kirjelda üks äriline tegevus, lubatud väljad ja maksimaalsed piirid.

type CreateDraftArgs = {
  customerId: string;
  subject: string;
  body: string;
};

// Tööriist loob ainult mustandi.
// Saatmine on eraldi toiming ja vajab inimese kinnitust.

Valideeri mudeli väljund nagu väline sisend

Mudeli loodud JSON ei ole usalduspiir. Kontrolli skeemi, pikkust, lubatud väärtusi, objekti kuuluvust ning kasutaja rolli. Ära pane tööriistale administraatori õigusi mugavuse pärast.

const args = CreateDraftSchema.parse(toolCall.arguments);
const customer = await loadCustomer(args.customerId);
if (customer.tenantId !== session.tenantId) {
  throw new Error("FORBIDDEN");
}
return createDraft({ ...args, createdBy: session.userId });

Arvesta korduse ja katkestusega

Mudeli või võrgu korduskatse võib sama tegevuse uuesti saata. Kasuta tegevuse tunnust, idempotentsust ja olekumasinat. Kõrge mõjuga tegevuse järel kuva kasutajale täpne tulemus.