Nå sitter jeg på toget hjem fra Wien og prøver å absorbere inntrykkene fra den siste uken. De siste fire dagene har jeg tilbragt på den internasjonale konferansen for dokumentanalyse, eller ICDAR som den ofte kalles. ICDAR er flaggskipskonferansen for forskning på automatisk dokumentanalyse.
Av: Yngve Moe
Det var mange inntrykk på ICDAR. Det var mye fokus på hvordan KI-modeller skal bli flinkere til å lese tabeller, grafer og håndskrift. Men de tre tingene som kanskje festet seg best var:
- Små, problem-spesifikke, KI-modeller gjør det ofte bedre enn de virkelig store, men generelle, språkmodellene tekstgjenkjenning, tabell-tolking o.l.
- RAG-systemer har store mangler når dataene kommer fra scannede dokumenter med flere kolonner, siden da kommer avsnittene ofte i litt vilkårlig rekkefølge som kan "forvirre" språkmodellen.
- KI-modeller lærer seg å kjenne igjen JPEG-kvaliteter og systemer som skal detektere dokumentforfalsking gjør det veldig dårlig på bilder med atypisk komprimering.
Alt dette var interessant, men hvordan fant jeg, en IT konsulent, veien til forskerkonferansen ICDAR? Det er ikke konferansen jeg vanligvis besøkt, men når et hobbyprosjekt blir til en forskningsartikkel er forskningskonferanser stedet å dra.
De siste årene har jeg nemlig vært fasinert av hvordan nuller og enere inne i datamaskinen kan gjøres om til bokstaver, ord, setninger, ja til og med hele bøker. Fascinasjonen lå så dypt at min samboer og jeg holdt en populærvitenskapelig presentasjon om dette på PyCon-konferansene i USA og Storbrittania i fjor.
Om du er interessert i en litt morsom og forhåpentligvis lærerik introduksjon til dette, kan du se opptak av presentasjonen vår her: https://www.youtube.com/watch?v=3MmfY5UIquk
Siden den tid har vi brukt mye tid på et annet, relatert, hobbyprosjekt, Stringalign. Stringalign er et verktøy for å måle hvor likt to tekster er. Dette høres kanskje litt flåsete ut, men slik sammenligning er viktig når man skal måle hvor gode datasystemer er til tekstbehandling. Enten man har en OCR-modell som gjør om bilder til tekst, eller en KI-modell som henter nøkkelinformasjon fra lange tekstdokumenter, må man ha en måte å sammenligne datasystemets output med en fasit. Kort fortalt er det denne sammenligningen som Stringalign gjør.
Når vi var fornøyde med kodingen ville vi jo at andre skulle få vite om det vi hadde laget. Marie er forsker på Nasjonalbiblioteket, og hun foreslo at vi kunne skrive en forskningsartikkel hvor vi presenterte hvilke mangler som er i eksisterende verktøy og hvorfor vårt verktøy gjør det lettere å forstå hvilke feil modeller gjør. Vi var litt nervøse da vi presenterte, for målet vårt var hovedsakelig å informere om fallgruver når man måler kvaliteten til KI-modeller, men vi hadde mange interessante diskusjoner og fikk gode tilbakemeldinger så jeg tror vi kan kalle det en stor suksess.
Etter presentasjonen var det så klart en del utforsking av Wien by også, en bankett i det majestetiske rådhuset, og masse god mat.
