Wie een AI-assistent wil laten zoeken in eigen documenten, mail of notities, loopt al snel tegen een onverwacht probleem aan: de zoekindex is groter dan de bestanden zelf. Onderzoekers van het Sky Computing Lab van UC Berkeley hebben daar met LEANN een open-source oplossing voor gemaakt. Hun index neemt volgens hun eigen metingen minder dan 5 procent van de ruimte in van de oorspronkelijke data.

Waarom zoekindexen zo groot worden

Zoeken op betekenis, de techniek achter RAG (retrieval-augmented generation), werkt met embeddings: elk stukje tekst wordt omgezet in een lange reeks getallen. Die reeksen worden normaal allemaal opgeslagen, samen met een netwerk dat aangeeft welke stukjes op elkaar lijken. Volgens het projectoverzicht van Berkeley kost het indexeren van 100 GB aan ruwe data daardoor al gauw 150 tot 700 GB opslag. Op een laptop of telefoon is dat geen haalbare kaart.

Uitrekenen in plaats van bewaren

LEANN draait dat om. De index houdt alleen een uitgedund netwerk van verwijzingen bij en gooit de embeddings zelf weg. Pas als je een zoekvraag stelt, rekent het systeem de embeddings uit voor het kleine deel van de data dat op dat moment nodig is. Je ruilt opslag dus in voor rekenwerk tijdens het zoeken.

De cijfers die de onderzoekers noemen:

  • tot 50 keer kleiner dan gangbare indexen;
  • volgens MarkTechPost slinkt een Wikipedia-index van 60 miljoen tekststukken van 201 GB naar 6 GB;
  • 90 procent van de relevante resultaten in de top 3 binnen ongeveer 2 seconden op vraag-en-antwoordtests;
  • de nauwkeurigheid van de uiteindelijke AI-antwoorden blijft gelijk aan die van de veelgebruikte HNSW-index.

Het onderzoek, met onder meer Ion Stoica en Matei Zaharia (de mensen achter Spark en Databricks) als auteurs, staat in de proceedings van MLSys 2026. Volgens MarkTechPost won het daar de prijs voor beste onderzoekspaper. De code staat op GitHub.

De prijs: soms traag

Gratis is de winst niet. Omdat er bij elke zoekopdracht gerekend moet worden, kan zoeken op een gewone computer flink langer duren. MarkTechPost noemt een test met de HotpotQA-vragenset waarin het ophalen op een Mac bijna 45 seconden kostte, de helft van de totale tijd. Voor een chatbot die direct moet antwoorden is dat te lang; voor een assistent die af en toe in je archief zoekt is het acceptabel.

Privacy als argument

Het interessantste aan LEANN is niet de techniek maar wat die mogelijk maakt: AI-zoeken over persoonlijke bestanden zonder ze naar een clouddienst te sturen. Dat sluit aan bij een bredere beweging naar lokale AI, zoals de kleine open modellen van Liquid AI die op een telefoon draaien. Voor Nederlandse organisaties die onder de AVG liever geen documenten bij Amerikaanse diensten onderbrengen, is zo'n combinatie van een lokaal taalmodel en een compacte lokale index een serieus alternatief. Wel blijft het voorlopig gereedschap voor ontwikkelaars: er is geen kant-en-klare app voor gewone gebruikers.