Een AI-agent die in de bedrijfsdocumenten moet zoeken, leest vaak hele bestanden door om één relevante alinea te vinden. Dat is traag en duur. Opslagdienst Box wil dat oplossen met Box Content Retrieval, een nieuwe functie die het donderdag op zijn ontwikkelaarsconferentie liet zien. De basis is Nemotron Embed van Nvidia, een reeks open modellen die teksten vooraf omzetten in een soort inhoudelijke vingerafdruk.
Alleen de relevante stukken
In plaats van complete documenten krijgt een agent alleen de stukken terug die bij de vraag passen. "In plaats van dat een agent elk document moet doorlezen, sturen we de stukken terug die het meest relevant zijn", zegt Box-topman Aaron Levie tegen TechCrunch. Omdat de modellen naar betekenis kijken en niet naar losse trefwoorden, vindt een zoekopdracht ook passages die met andere woorden of in een andere taal over hetzelfde gaan. Box noemt advocaten als voorbeeld, die zo makkelijker vergelijkbare clausules en uitspraken terugvinden.
De beloofde winst
Volgens Kari Briski van Nvidia worden vragen vier keer sneller beantwoord, met 20 procent minder fouten en 90 procent minder verbruikte tokens. Dat zijn claims van de twee bedrijven zelf; onafhankelijke metingen zijn er nog niet. Vooral dat laatste cijfer is interessant, nu bedrijven steeds vaker tegen de kosten van agents aanlopen. Zo zou Apple onlangs het AI-budget van zijn eigen engineers hebben ingeperkt.
Open model, gesloten pakket
De Nemotron-modellen zijn vrij te downloaden. Nvidia bracht in oktober nog een nieuwe generatie zoekmodellen uit. Toch is de Box-functie niet zomaar na te bouwen, zegt Levie: het systeem leunt op de metadata en toegangsrechten die Box al heeft. Dat laatste is voor bedrijven belangrijk, want een agent mag alleen stukken terugkrijgen die de gebruiker zelf ook mag zien.
Box Content Retrieval komt begin volgend jaar beschikbaar voor klanten met het abonnement Enterprise Advance. Over aparte beschikbaarheid in Europa zegt Box in de berichtgeving niets.
