Kaip mes padėjome pasauliniam FMCG prekės ženklui apdoroti daugiau nei 100 000 kokybiškų dokumentų naudojant AI

Štai kaip mes padėjome pasauliniam FMCG prekės ženklui apdoroti daugiau nei 100 000 kokybės tikrinimo dokumentų naudojant AI neprarandant tikslumo

Kai pas mus atvyko pasaulinis FMCG gamintojas, problema nebuvo duomenų trūkumas. Jo buvo per daug, įstrigo netinkamame formate.

Kiekviena gaminio partija, kuri buvo išvežta iš gamyklos, buvo su kokybės tikrinimo dokumentu, PDF formatu, kuriame užfiksuoti bandymų rezultatai, inspektorių patvirtinimai ir atitikties duomenys. Padauginkite tai iš kelių gamybos linijų ir veiklos metų, o skaičius viršys 100 000 dokumentų. Kiekvieną iš jų reikėjo peržiūrėti, išgauti pagrindinius laukus ir patvirtinti pagal kokybės standartus, kad būtų galima archyvuoti arba įtraukti į paskesnes sistemas.

Rankiniu būdu tai atliko kokybės ir atitikties komanda, skaitanti kiekvieną PDF, nukopijuodama reikšmes į skaičiuokles arba įrašų sistemas ir kryžminį patikrinimą, ar nėra klaidų. Tai veikė, bet nesumažėjo. Kiekviena nauja produktų linija, kiekvienas audito ciklas, kiekviena nauja rinka įtraukė daugiau dokumentų į jau per ilgą eilę.

Kliento nurodymas buvo tiesioginis: automatizuokite šių dokumentų ištraukimą ir patvirtinimą AI dokumentų apdorojimasnepakenkiant tikslumui priklausė jų atitikties procesai.

Turinys:

Toggle

Kodėl tai nėra paprasta OCR problema

Popieriuje sprendimas atrodo nesudėtingas – paleiskite PDF failus per AI ištraukimo vamzdynaspatikrinkite pasitikėjimo balą ir patvirtinkite. Mes matėme tokią prielaidą anksčiau, ir ji neišgyvena kontakto su tikrais gamybos dokumentais.

FMCG kokybės tikrinimo dokumentai yra netvarkingi, kaip bendri OCR įrankiai nėra sukurti. Kai kurios yra švarios, atspausdintos laboratorijos ataskaitos. Daugelis ne. Inspektoriai paraštėse pataisymus rašo ranka. Vertybės perbraukiamos ir perrašomos, kai įvyksta pakartotinis patikrinimas. Antspaudai sutampa su spausdintu tekstu. Kai kurie dokumentai yra vos įskaitomų anglies kopijų formų nuskaityti dokumentai. Dujotiekis, kuriame tvarkomas tik švarus spausdintas tekstas, būtų sugedęs reikšmingoje šio kliento realaus pasaulio dokumentų dalyje, o atitikties pagrįstoje pramonėje, pvz., FMCG, „reikšminga dalis“ nėra skaičius, kurį galima gūžčioti pečiais.

Taigi, prieš rašydami ištraukimo logikos eilutę, praleidome laiką su kliento kokybės komanda, kad suprastume, kaip šie dokumentai iš tikrųjų atrodo praktikoje, o ne tik kaip jie atrodo geriausiu atveju.

Pasitikėjimo balų spąstai dokumente AI

Pirmoji versija bet dokumento AI vamzdynas linkęs naudoti vieną patikimumo balą vienam dokumentui: jei modelis yra, tarkime, 90 % apskritai, patvirtinkite jį; jei ne, nusiųskite jį žmogui.

Šis metodas mums anksti nepavyko, todėl verta paaiškinti, kodėl. Bendras dokumento patikimumas gali siekti 95 %, o vienas konkretus laukas, tarkime, testo rezultatas, nustatantis, kad buvo priimtas/nepavyko, yra neteisingas. Bendras balas yra kiekvieno puslapio lauko vidurkis. Keletas paprastų, akivaizdžių laukų gali padidinti vidurkį ir užmaskuoti tą lauką, kurį sunku perskaityti, ir tą, kuris iš tikrųjų yra svarbus.

Mes persikėlėme į lauko lygio pasitikėjimo balais vietoj to. Kiekvienas atskiras laukas, o ne visas dokumentas, gauna savo pasitikėjimo balą. Tik tie laukai, kurie nepatenka į nustatytą slenkstį, nukreipiami žmogaus peržiūros kūrėjui. Visa kita patvirtinama automatiškai.

Šis vienintelis pakeitimas turėjo didelį poveikį. Tai reiškė, kad recenzentai neatidarė visų dokumentų, kad dar kartą patikrintų laukus, kuriuos AI jau buvo tinkamai ištraukę. Jie žiūrėjo į du ar tris laukus, dažnai iš dvidešimties ar daugiau, dėl kurių sistema tikrai nebuvo tikra. Tuo skiriasi recenzentas, perskaitantis visą dokumentą, ir recenzentas, praleidžiantis penkiolika sekundžių pažymėtame lauke.

Rašysenos, antspaudų ir brūkšnių tvarkymas

Kokybės dokumentai gamybos aplinkoje yra darbo dokumentai, o ne nesugadintos formos. Inspektoriai išbraukia pradinę reikšmę ir šalia jos užrašo pataisytą. Antspaudai pateikiami „patvirtinti“ arba „pakartotinai patikrinta“ ir iš dalies uždengia lauką apačioje. Nuskaitymų skiriamoji geba labai skiriasi priklausomai nuo to, kuri įmonė juos pagamino.

Sukūrėme specifinį kiekvieno iš šių šablonų tvarkymą, o ne traktavome juos kaip OCR triukšmą, kad gautume vidurkį. Bandymo metu mus nustebino viena detalė: kai kuriais atvejais dirbtinis intelektas teisingai nustatė išbrauktą reikšmę ir nusprendė jos neišgauti, laikydamas ją pakeistu, o tai yra teisinga elgsena, tačiau tai reiškė, kad patvirtinimo darbo eigai reikia aiškaus kelio, kad „čia atlikta pataisa“, o ne kiekvieną perbraukimą traktuotų kaip ištraukimo gedimą. Pridėjome atskirą peržiūros žymą, skirtą specialiai dokumentams su matomais pataisymais, kad recenzentai galėtų greitai patvirtinti, kad AI pasirinko pataisytą, o ne pradinę vertę.

Sąmoningas žmonių išlaikymas

Tai nebuvo susiję su kokybės komandos pašalinimu iš proceso. Buvo siekiama pakeisti tai, kam jie praleido savo laiką.

Prieš pradedant naudoti dujotiekį, kliento domeno ekspertai kiekvieną darbo eigą patikrino pagal esamą rankinį procesą. Išbandėme dirbtinio intelekto išvestį su dokumentais, kurie jau buvo peržiūrėti rankiniu būdu, lygindami kiekvieną lauką, kol ištraukimo tikslumas išliko nuosekliai, atsižvelgiant į skirtingus dokumentų tipus, įrenginius ir nuskaitymo kokybę. Šis patvirtinimo etapas užtruko realiu laiku, ir mes jį traktavome kaip neabejotiną – konvejeris, kuris demonstracinėje versijoje atrodo tikslus, ir pakankamai tikslus, kad būtų galima pasitikėti atitikties reikalaujama pramone, nėra tas pats dalykas.

Kartą gyvai, apžvalgininko vaidmuo pasikeitė. Užuot skaitydami kiekvieną dokumentą nuo galo iki galo, recenzentai dirbo iš eilės pažymėtų laukų, tų, kuriais dirbtinis intelektas iš tikrųjų nebuvo įsitikinęs, taip pat dokumentus su matomais pataisymais ar neįprastu formatavimu. Kvalifikuoti komandos nariai atliko tokį patį sprendimo darbą, kokį ir visada, tik taikė daug mažesnėms, daug aktualesnėms byloms.

Rezultatas: 80 % sumažintos rankinės peržiūros pastangos

• Per dujotiekį praėjo daugiau nei 100 000 dokumentų.
• Ištraukimo tikslumas buvo didesnis nei 90 % lauko lygiu, patvirtintas pagal paties kliento rankinius etalonus.
• Neautomatinės peržiūros pastangos sumažėjo maždaug 80%, nes tikrintojai žiūrėjo tik į pažymėtus laukus ir pažymėtus dokumentus, o ne į kiekvieną puslapį.
• Apdorojimo laikas, kuris buvo nuolatinė kliūtis atitikties komandai, labai sumažėjo.
• Atsilikimas, kuris didėjo su kiekvienu nauju audito ciklu, nustojo augti.
• Skaičius, kuris klientui buvo svarbiausias, nebuvo procentas.
• Jų kokybės komanda, žmonės, kurie ilgus metus kūrė sprendimą, kad žinotų, kada vertė atrodo, pagaliau išleido šį sprendimą dokumentams, kuriems to iš tikrųjų reikėjo.

Ką norėtume pasakyti visiems, svarstantiems apie AI dokumentų apdorojimą

Jei yra viena šio projekto pamoka, kurią verta pakartoti, tai ta pati dokumentas AI reguliuojamoje arba kokybei jautrioje pramonėje Tai nėra modelio pasirinkimo problema. Tai darbo eigos projektavimo problema. Ištraukimo modelis yra viena iš sistemos dalių, kuriai taip pat reikia lauko lygio patikimumo balų, aiškaus eskalavimo kelio dviprasmiškiems atvejams, pvz., rašysenai ir taisymui, ir pakankamai griežto patvirtinimo etapo, kad juo pasitikintys žmonės iš tikrųjų juo pasitikėtų.

Dėl šio derinio „mes vykdėme dirbtinį intelektą savo dokumentuose“ į procesą, už kurį iš tikrųjų stovės atitikties komanda.

Jei sėdite ant atsilikimo dokumentų, kokybės ataskaitų, atitikties įrašų, laboratorijos rezultatų ar kitų panašių dalykų, o rankinė peržiūra tapo kliūtimi, mielai pakalbėtume, kaip galėtų atrodyti tokia jūsų duomenų darbo eiga.