Incorporamenti vettoriali: creazione di un motore di ricerca visivo
Come implementare la funzionalità "Ricerca per immagine" utilizzando OpenAI CLIP e un database vettoriale (Pinecone) su Shopify.
La ricerca del testo è difettosa. Se scrivo “Abito estivo fluido rosso”, indovino le parole chiave utilizzate dal merchandiser. La ricerca visiva consente a un utente di caricare una foto (da Instagram o Pinterest) e dire: “Trovami qualcosa come questo”.
La Tecnologia: i Vettori
I computer non vedono le immagini. Vedono i numeri. Utilizziamo un modello di incorporamento multimodale (come OpenAI CLIP) per convertire le immagini in un elenco di numeri (vettori). Sorprendentemente, immagini simili hanno vettori matematicamente simili.
“sirena”. grafico TD UserImage[Immagine caricata dall’utente] —>|Chiamata API| Incorpora[OpenAI CLIP] Incorpora —>|Restituisce| VettoreA[Vettore: [0.1, 0.9, 0.3…]]
Catalogo[Catalogo Shopify] -->|Pre-elaborazione| Pigna[DB vettoriale pigna]
VettoreA -->|Interroga il vicino più vicino| Pigna
Pigna -->|Restituisce Top 5| Corrispondenze[SKU corrispondenti]
Corrispondenze -->|Render| Griglia[Griglia prodotto]
## Guida all'implementazione
### Passaggio 1: indicizzazione del catalogo
Eseguiamo uno script per elaborare tutte le immagini del prodotto.
"dattiloscritto".
importa { incorpora } da 'openai';
import { pigna } da './db';
indice della funzione asincronaProdotto(prodotto) {
const incorporamento = attendono incorporamento(prodotto.immagine.url);
attendono pigna.upsert({
id: prodotto.id,
vettore: incorporamento,
metadati: { handle: prodotto.handle }
});
}Passaggio 2: il componente dell’interfaccia utente
Aggiungiamo un’icona “Fotocamera” alla barra di ricerca. Quando viene selezionato un file:
- Carica nella memoria temporanea.
- Passa l’URL al nostro percorso API.
- Eseguire la ricerca vettoriale.
- Reindirizza a
/search?visual_id=xyz.
Caso d’uso: rilevamento delle repliche
Un utente vede una borsa firmata da $ 5.000. Non possono permetterselo. Caricano la foto nel tuo negozio (che vende accessori a prezzi accessibili). Il tuo motore trova la corrispondenza più simile nel tuo catalogo ($200). Conversione istantanea.
Prestazioni
La ricerca vettoriale è incredibilmente veloce (O(log n)). Possiamo cercare 100.000 SKU in < 50 ms. Sembra magico per l’utente.
Pronti a innovare?
La ricerca testuale standard è noiosa. La ricerca visiva è coinvolgente. Assumi i nostri architetti.