Auch in­no­va­ti­ve KI-Mo­del­le al­lein kön­nen nichts ohne die rich­ti­gen Trai­nings­da­ten – und pro­duk­ti­ve Trainer.

Ac­ti­ve Lear­ning = No Pain, No Gain? Pro­gram­mie­rung nicht mehr not­wen­dig, aber Trai­ning schon.

Das in­ser­ve-Team hat be­reits das Ziel er­reicht, in der ei­ge­nen In­tel­li­gent Do­cu­ment Pro­ces­sing-Platt­form na­he­zu alle not­wen­di­gen Ver­ar­bei­tungs­schrit­te durch lern­fä­hi­ge KI-Bau­stei­ne ab­zu­de­cken (z.B. Sta­pel­tren­nung, Do­ku­men­ten­klas­si­fi­zie­rung, In­for­ma­ti­ons­ex­trak­ti­on). Dies senkt den Auf­wand und stei­gert die An­pas­sungs­fä­hig­keit für die Au­to­ma­ti­sie­rung massiv.

Dar­über hin­aus sind Mög­lich­kei­ten ent­stan­den, die vor­her nicht durch Pro­gram­mie­rung und schon gar nicht ma­nu­ell um­setz­bar wa­ren, wie z.B. das Fin­den mög­lichst ho­mo­ge­ner Clus­ter in hun­dert­tau­sen­den Sei­ten. Die­se funk­tio­nie­ren so­gar un­ge­stützt (ohne Labels/Auszeichnungen).

Für ei­ni­ge Schrit­te ist aber na­tür­lich ein Trai­ning durch mensch­li­che Spe­zia­lis­ten not­wen­dig. Auch wenn Trai­nings­be­darf und Leis­tung der KI-Mo­del­le be­reits op­ti­miert sind, so muss der Trai­nings­pro­zess den­noch mög­lichst ef­fi­zi­ent ge­stal­tet sein:

  • Wie kön­nen mög­lichst in­for­ma­ti­ve Trai­nings­bei­spie­le iden­ti­fi­ziert werden?
  • Wie kön­nen un­ba­lan­cier­te Ver­tei­lun­gen (auf vie­le Klas­sen) ab­ge­deckt werden?
  • Wie kann der An­wen­der mög­lichst kom­for­ta­bel durch den Trai­nings­pro­zess ge­führt werden?
  • Wo­her weiß der An­wen­der, wie gut das von ihm trai­nier­te Mo­dell be­reits generalisiert?
Human in the Loop & Konfidenz

Hu­man in the Loop & Konfidenz

Das Hu­man-in-the-Loop-Prin­zip bie­tet hier­für den rich­ti­gen Rah­men, in­dem es die Kon­fi­denz der Vor­her­sa­gen der KI-Mo­del­le nutzt, um so­wohl beim in­itia­len Trai­ning als auch im lau­fen­den, pro­duk­ti­ven Ein­satz un­si­che­re Vor­her­sa­gen aus­zu­son­dern und sich beim mensch­li­chen Spe­zia­lis­ten rück­zu­ver­si­chern. Ac­ti­ve Lear­ning treibt die­ses Prin­zip auf die Spit­ze, in­dem es den An­wen­der au­to­ma­ti­siert durch das Trai­ning leitet.

Mög­lichst we­ni­ge, aber ziel­füh­ren­de Trai­nings­bei­spie­le für Ac­ti­ve Learning

Die Grund­idee von Ac­ti­ve Lear­ning be­steht aus fol­gen­dem, ite­ra­ti­ven Ansatz:

  1. Fin­de eine über­schau­ba­re Men­ge mög­lichst in­for­ma­ti­ver Trainingsbeispiele.
  2. Er­lau­be dem An­wen­der, die­se mög­lichst ein­fach und zü­gig auszuzeichnen.
  3. Trai­nie­re das KI-Mo­dell voll­stän­dig neu oder inkrementell.
  4. Ent­schei­de – au­to­ma­ti­siert oder durch den An­wen­der – ob das Trai­ning aus­rei­chend ist.
  5. Wenn nicht – be­gin­ne wie­der bei Eins (s.o).
Active Learning Ablauf

Ac­ti­ve Lear­ning Ab­lauf (ver­ein­facht)

Ei­gent­lich re­la­tiv ein­fach, aber ein paar Tü­cken sind im De­tail den­noch zu lösen:

Was sind mög­lichst in­for­ma­ti­ve Beispiele?

Wie im­mer gibt es in For­schung und Li­te­ra­tur ver­schie­de­ne An­sät­ze, die mehr oder we­ni­ger in­tui­tiv nach­voll­zieh­bar sind und teil­wei­se mit­ein­an­der kom­bi­niert werden:

  • Kon­fi­denz-ba­siert: Bei wel­chen Bei­spie­len ist sich das Mo­dell am unsichersten?
  • Ko­mit­tee-ba­siert: Bei wel­chen Bei­spie­len sind sich ver­schie­de­ne Mo­del­le am we­nigs­ten einig?
  • Dich­te-ba­siert: In wel­chen Re­gio­nen des Da­ten­raums sind bis­her die we­nigs­ten Bei­spie­le vorhanden?
  • Di­ver­si­täts-ba­siert: Wel­che Da­ten­punk­te un­ter­schei­den sich am stärks­ten von den schon vorhandenen?
  • Ver­än­de­rungs-ba­siert: Wo ver­än­dert sich das Mo­dell am stärksten?
  • Ler­ner-ba­siert: Ein wei­te­res Mo­dell schätzt, wel­che Bei­spie­le die größ­te Leis­tungs­stei­ge­rung bringen.

Da aber bei al­len fas­zi­nie­ren­den Ideen im­mer die Pra­xis­nä­he im Sin­ne von Ver­ar­bei­tungs­ge­schwin­dig­keit und ech­ten, mess­ba­ren Vor­tei­len im Blick be­hal­ten wer­den muss, ist Sorg­falt bei Aus­wahl und Um­set­zung geboten.

Wie schnell ist die tech­ni­sche Verarbeitung?

Ei­ner­seits muss der Ab­lauf für den An­wen­der mög­lichst zü­gig sein, an­der­seits kos­ten alle ge­nann­ten Schrit­te Ver­ar­bei­tungs­zeit: Die Aus­wahl (das Sam­pling) muss hin­rei­chend vie­le Da­ten­punk­te über­prü­fen und da­nach be­son­ders in­for­ma­ti­ve aus­wäh­len. Je nach Mo­dell kann in­kre­men­tell oder muss voll­stän­dig neu trai­niert wer­den, je kom­ple­xer dies ist, des­to mehr Zeit ist erforderlich.

Wie sieht die op­ti­ma­le In­ter­ak­ti­on für den An­wen­der aus?

Idea­ler­wei­se legt die An­wen­dung au­to­ma­tisch nach­ein­an­der die aus­ge­wähl­ten Bei­spie­le vor und zwar so, dass der Trai­ner die­se mög­lichst gut be­wer­ten und die kor­rek­te Aus­zeich­nung mög­lichst er­go­no­misch vor­neh­men kann. Die op­ti­ma­le In­ter­ak­ti­on va­ri­iert stark mit der je­wei­li­gen Auf­ga­ben­stel­lung – Klas­si­fi­zie­rung von Do­ku­men­ten oder In­for­ma­tio­nen auf ei­ner Sei­te, Tren­nung von Sta­peln, Er­ken­nen von Entitäten.

Wann wur­de ge­nug trainiert?

Beim Ac­ti­ve Lear­ning muss der An­wen­der (oder das Sys­tem) be­wer­ten kön­nen, wann in Be­zug auf die Ge­samt­heit der Da­ten (Do­ku­men­ten­be­stän­de oder ‑strö­me) das Trai­ning aus­rei­chend gut er­scheint oder die Ef­fi­zi­enz (An­zahl der Trai­nings­bei­spie­le in Re­la­ti­on zur Ver­bes­se­rung) zu stark sinkt.

Kon­kre­tes Pra­xis­bei­spiel: Klas­si­fi­zie­rung von Dokumenten

Zur Ver­deut­li­chung ha­ben wir be­wusst ei­nen Do­ku­men­ten­be­stand mit vie­len (43), sehr un­ba­lan­cier­ten und teil­wei­se schwer zu un­ter­schei­den­den Ge­schäfts­vor­gän­gen (Klas­sen) ge­wählt. Ver­schie­de­ne ma­xi­ma­le An­tei­le der Do­ku­men­te wur­den für das Trai­ning (80÷20) und der Rest als fixe Va­li­die­rungs­da­ten ver­wen­det. Die­se sind be­reits aus­ge­zeich­net, in der Ac­ti­ve Lear­ning Si­mu­la­ti­on wer­den aber nur je­weils die pro Ite­ra­ti­on aus­ge­wähl­ten Bei­spie­le für das Trai­ning verwendet.

 

Schnel­le­re Trainingserfolge

Entwicklung MCC

Ent­wick­lung MCC für max. 80% / 20% Trai­nings­da­ten und ver­schie­de­ne Sam­pling Strategien

Als Ver­gleichs­re­fe­renz wur­de das rein zu­falls­ba­sier­te Sam­pling mit ei­ner Kon­fi­denz-ba­sier­ten Stra­te­gie an­hand der Pri­mär­me­trik MCC ver­gli­chen. Da­bei wur­de ein­mal auf den je­weils nicht vom Trai­ner aus­ge­zeich­ne­ten Da­ten aus dem Trai­nings­be­stand („re­mai­ning“) und ein­mal auf dem fi­xen Va­li­die­rungs­be­stand gemessen.

In al­len Fäl­len ist die Leis­tung des Kon­fi­denz-ba­sier­ten Sam­plings et­was bis deut­lich bes­ser. Vor al­lem aber wird die ma­xi­mal er­reich­ba­re Leis­tung deut­lich frü­her an­ge­nä­hert. In der Pra­xis be­deu­tet dies we­sent­lich schnel­le­re Trainingserfolge!

Wann wur­de ge­nug trainiert?

In der Rea­li­tät lie­gen na­tür­lich nicht alle Da­ten mit Aus­zeich­nun­gen vor, es kann je­doch eine Cross Va­li­da­ti­on auf den ver­füg­ba­ren Trai­nings­da­ten zur Ein­schät­zung der er­reich­ten Leis­tung ge­nutzt werden.

ergleich tatsächliche mit messbarer Leistung

Ver­gleich tat­säch­li­che mit mess­ba­rer Leistung

Die­se Vi­sua­li­sie­rung zeigt, dass der Cross Va­li­da­ti­on (CV) MCC die tat­säch­li­che Leis­tung der Kon­fi­denz-Stra­te­gie im Trai­nings­fort­schritt fast durch­gän­gig sys­te­ma­tisch un­ter­schätzt (dies konn­ten wir für alle o.g. Va­ri­an­ten be­ob­ach­ten). In­tui­tiv ist dies auch nach­voll­zieh­bar, da die­se Stra­te­gie für jede Ite­ra­ti­on die Bei­spie­le mit den un­si­chers­ten Vor­her­sa­gen auswählt.

Dies kann über die Be­trach­tung der Stei­ge­rung der Mo­dell­leis­tung, über zu­sätz­li­che zu­falls­ba­siert aus­ge­wähl­te Bei­spie­le oder die Ent­wick­lung der Kon­fi­denz bzw. eine Kom­bi­na­ti­on die­ser An­sät­ze ge­löst werden.

Hö­he­re Kon­fi­denz und an­de­re Verteilung

In­ter­es­sant sind zu gu­ter Letzt noch zwei Aspekte:

Na­tur­ge­mäß steigt die Kon­fi­denz in den vom Trai­ner nicht ge­se­hen Do­ku­men­ten ei­nes fi­xen Be­stan­des deut­lich schnel­ler und höher:

ergleich der Konfidenzentwicklung
ergleich der Konfidenzentwicklung bei unterschiedlichem Trainingsfortschritt (Zufall / Konfidenz)

Ver­gleich der Kon­fi­denz­ent­wick­lung auf un­ge­se­he­nen Da­ten (Zufall/Konfidenz)

Wei­ter­hin er­gibt sich auch eine an­de­re Ver­tei­lung auf die Klas­sen: Bei den hö­her fre­quen­ten wird dif­fe­ren­zier­ter aus­ge­wählt und die nie­der­fre­quen­ten ha­ben (so­weit mög­lich) ei­nen sys­te­ma­tisch hö­he­ren Anteil:

Vergleich Klassenverteilung bei unterschiedlichem Trainingsfortschritt (Zufall / Konfidenz)
Vergleich Klassenverteilung bei unterschiedlichem Trainingsfortschritt

Ver­gleich Klas­sen­ver­tei­lung bei un­ter­schied­li­chem Trai­nings­fort­schritt (Zufall/Konfidenz)

Bei­de Ef­fek­te spre­chen für den Nut­zen von Ac­ti­ve Learning.

Schluss­fol­ge­run­gen

Hu­man-in-the-Loop-Prin­zip und Ac­ti­ve Lear­ning zei­gen ein­mal mehr, dass die rei­ne Fo­kus­sie­rung auf (kom­ple­xe) KI-Mo­del­le für die An­wen­dungs­pra­xis nicht im­mer Sinn macht. Ent­schei­dend ist die In­te­gra­ti­on in ein Ge­samt­kon­zept u.a. aus ef­fi­zi­en­ten Trai­nings­me­cha­nis­men, er­go­no­mi­schen Be­nut­zer­ober­flä­chen und ska­lier­ba­rer, per­for­man­ter Aus­füh­rung von Trai­ning und Inferenzen.

Das in­ser­ve-Team in­te­griert da­her ak­tu­ell Ac­ti­ve Lear­ning-Kon­zep­te in sei­ne Platt­form, um de­ren Mehr­wer­te und Wett­be­werbs­vor­tei­le bei der Ver­ar­bei­tung kom­ple­xer Do­ku­men­ten­be­stän­de und ‑strö­me wei­ter auszubauen.

Der Ar­ti­kel wur­de von den Ex­per­ten Arvin Aro­ra und Yan-Fre­de­ric Thors­t­ing verfasst.

 

Ha­ben Sie In­ter­es­se an ei­ner Ver­tie­fung des The­mas Ac­ti­ve Lear­ning oder der Nut­zung der inserve-Plattform? 

Ger­ne ste­hen wir Ih­nen für Fra­gen zur Verfügung.

Mit dem On­line-Tool Calend­ly kön­nen Sie di­rekt on­line Ih­ren Wunsch­ter­min wäh­len. Bu­chen Sie noch heu­te Ihre 30-mi­nü­ti­ge Be­spre­chung bei un­se­rer IDP-Ex­per­tin Chris­tia­ne Tetz­ner und er­hal­ten Sie eine Ka­len­der-Ein­la­dung mit Zu­gangs­link zu Ih­rer per­sön­li­chen Teams-Besprechung.

Christiane Tetzner

Chris­tia­ne Tetzner

IDP Ex­per­tin

mail ctetzner@inserve.de
fon +49 511 936 857 67