Euroopan unionin osarahoittama logo.
Vasemmalla Satakunnan maakunnan vaakuna ja sen vieressä

PoC – PDF-tulosteiden muuntaminen rakenteelliseen muotoon

Tekoäly voi tuoda joustavuutta PDF-dokumenttien tietojen käsittelyyn, jossa perinteiset automaatioratkaisut kohtaavat haasteita. Hubble Oy ja TemoTero-hanke testasivat kielimallien soveltuvuutta myyntitilausten muuntamiseen, ja pilotin tulokset vahvistivat niiden potentiaalin.

Mikä oli alkutilanne eli miksi lähdettiin tekemään PoC-pilottia? 

Erilaiset PDF-tulosteet, ja niissä olevien tietojen koostaminen vastaanottajan omaan järjestelmään voivat olla tekoälylle sopiva tehtävä. Erilaisten saapuvien dokumenttien tietojen käsittely on tärkeä taloushallinnon tehtävä, mutta se ei ole liiketoiminnalle arvoa tuottavaa työtä. Sinällään yksinkertaiselta kuulostava ja ohjelmistoautomaatiolle, kuten RPA (Robotic Process Automation) tai koneoppiminen (ML, Machine Learning) sopiva tehtävä muuttuu hankalaksi, koska dokumenteilla ei ole yhteistä määrämuotoa.

Kansainvälisessä liiketoiminnassa mukaan tulee myös erilaisten termistöjen paljous. Sääntöjä ja logiikoita tai koneoppimisessa tarvittavaa opetusmateriaalia pitäisi rakentaa ja ylläpitää suurelle joukolle erilaisia dokumenttilähteitä. Usein dokumenteissa voi olla myös paljon sellaista sisältöä, joka ei ole varsinaiselle käsittelyprosessille merkityksellistä ja tämä sisältö toimii prosessin kannalta enemmänkin häiriönä ja harhaanjohtajana. PDF-dokumenteissa ihmissilmälle näkyvä visuaalinen rakenteellisuus on todellisuudessa melkoinen ”scriptien sillisalaatti”, jossa tiedot sijaitsevat milloin missäkin kohtaa sisältöä.

Laajaa kielimallia (LLM, Large language model) hyödyntävä tekoäly voi tässä tapauksessa toimia paljon RPA:ta tai ML:ää joustavammin ja tehokkaammin. Kielimalli voi esimerkiksi tunnistaa dokumentissa käytettävän kielen tai lähdemaan ja sitä myötä myös kansallisen termistön. Tekoälyagentille ”ohjelmoitava” tehtävä (kuten ChatGPT:ssä Custom Instruction) laaditaan sanallisesti eli promptataan. Sanallisessa komentokehotteessa ei tarvita ohjelmointiosaamista, mutta hyvän promptin laatiminen vaatii harjoittelua. Tehtävänanto voi olla hybridimuotoinen. Sanallisen ohjeen lisäksi tekoälylle voidaan antaa koodillinen rakennemalli sitä, mihin muotoon dokumentista löydetyt tiedot koostetaan, jotta ne sopivat vastaanottajan tietojärjestelmään ja jatkoprosessointiin.

Millainen PoC-pilotti tehtiin?

Hubble Oy kehittää PDF-dokumenttien käsittelyyn liittyvää automatisointia. Yhteistyössä TemoTero-hankkeen kanssa kielimallin hyödyntämistä sovellettiin myyntitilausten muuntamisessa PDF-dokumenteista JSON-formaattiin. Teknologian modernisointia tekoälyn avulla toteuttavan hankkeen pilotissa hanketiimi selvitti, saisiko ChatGPT:llä tai vastaavilla työkaluilla toteutettua tarvetta vastaavan promptin. Hubble koosti pilottiin sopivan lähdemateriaalin ja niistä odotetut lopputulemat, ja osallistui osaltaan kielimallin koekäyttöön. Pilotissa hyödynnettiin OpenAI ja Azure OpenAI -rajapintoja.

Kaavio PDF-tulosteiden muuntamisesta rakenteelliseen muotoon
AI powered system (PDF-tulosteiden muuntaminen rakenteelliseen muotoon)

Millaisia lopputuloksia PoC-pilotista saatiin? 

Hanketiimin huomioissa esiin nousivat komentokehotteen laadinnan merkitys lopputulokseen, erot eri LLM-mallien (GPT3.5, GPT-4 ja GPT-turbo) välillä ja eri rajapintojen suoritusnopeus PDF:ien käsittelyssä. Ongelmia havaittiin laajojen dokumenttien käsittelyyn kuluvassa ajassa. Muutamat pilotissa käytetyt PDF-mallit todettiin todella haastaviksi niin tekoälylle kuin ihmisille (arvojen selitys ja lukujen formaatti).

Hubble Oy:n edustajan Jani Nurmen mukaan pilottiyhteistyön tulokset ovat mielenkiintoisia ja täydentävät hyvin Hubblen tekemien omien kokeilujen tuloksia. Ne vahvistavat ajatuksia kielimallin käytöstä pdf-muotoisten tilausten ja vahvistusten käsittelyssä ja ovat varmasti osa lähitulevaisuudessa kehitettävää entistä helppokäyttöisempää ratkaisua.

Pilotin tulokset (pilotissa käytetyt lähdekoodit) löytyvät myös SEIntS-tutkimusryhmän GitHubista (Otula).

Kiitokset Hubble Oy:lle yhteistyöstä!

RoboAI logo.
SAMK logo.
Logo TAU 2rivi Fi Violetti RGB