Wie een chatbot vragen laat beantwoorden over eigen documenten, zoals handleidingen, contracten of een kennisbank, gebruikt meestal een techniek die RAG heet. Eerst zoekt een systeem de passende documenten op, daarna schrijft het taalmodel een antwoord op basis daarvan. Daartussen zit vaak een reranker: een model dat de gevonden documenten opnieuw op volgorde zet, zodat de beste bovenaan komen. Het Canadese Cohere heeft daarvan nu een nieuwe versie uitgebracht, Rerank 5.

Twee smaken: Pro en Fast

Rerank 5 komt in twee varianten. Pro is bedoeld voor lastige vragen en lange, vakspecifieke documenten. Fast moet vooral snel zijn, voor AI-agents die achter elkaar veel zoekopdrachten doen. Beide verwerken teksten tot 32.000 tokens, ondersteunen volgens Cohere meer dan honderd talen en kunnen ook halfgestructureerde gegevens zoals JSON, tabellen en YAML beoordelen.

Wie al een oudere versie gebruikt, hoeft volgens Cohere niets opnieuw te indexeren: alleen de modelnaam in de code verandert.

Wat is er nieuw?

  • Context Focus: naast een score per document geeft het model desgewenst aan welke stukken tekst binnen dat document relevant zijn, met begin- en eindpositie. Zo hoef je niet het hele document door te sturen naar het taalmodel. Volgens Cohere bleef in tests met dertig vraag-en-antwoordsets 96 procent van de antwoordkwaliteit over terwijl de helft van de tekst wegviel. De functie staat standaard uit.
  • Gekalibreerde scores: de scores zijn bedoeld als kans dat een document relevant is. Daardoor kun je een vaste drempel kiezen, bijvoorbeeld alles boven 0,7, in plaats van altijd de bovenste tien resultaten mee te nemen.

Cijfers van Cohere zelf

Volgens Cohere scoort de Pro-versie op 39 van 46 testsets het hoogst, en op de lastige benchmark BRIGHT 5,8 punten hoger dan concurrent Voyage AI Rerank 3. Het gaat om eigen metingen met een eigen variant van een bekende maatstaf; onafhankelijke controle is er nog niet. Snel is het ook niet in absolute zin: een verzoek met 96 documenten duurde bij Pro mediaan 11,7 seconden en bij Fast 4,1 seconden, gemeten op één Nvidia A100.

Via de API kost Pro 0,05 dollar en Fast 0,02 dollar per miljoen tokens. Het model is gesloten: er zijn geen gewichten om zelf te downloaden. Je kunt het wel gebruiken via Cohere zelf, Microsoft Foundry en Amazon SageMaker, of in een eigen afgeschermde cloudomgeving of op eigen servers draaien. De officiële aankondiging staat op de blog van Cohere.

Interessant voor Europese bedrijven

Dat laatste is voor organisaties in Nederland en de rest van de EU geen detail. Wie gevoelige documenten doorzoekt, zoals dossiers van klanten of patiënten, wil die vanwege de AVG vaak niet naar een externe cloud sturen. Een reranker die in de eigen omgeving draait, maakt dat makkelijker. Bovendien betekent minder tekst naar het taalmodel ook lagere kosten per vraag, iets waar steeds meer bedrijven op letten nu AI van proef naar dagelijks gebruik gaat. Eerder deze week kwam Liquid AI met een systeem om taalmodellen binnen 50 milliseconden te laten antwoorden, ook een teken dat de race verschuift van het slimste model naar de slimste inrichting eromheen.