Get­ting AI re­a­dy

kiVide

KI-basierte Videoanalyse für Fußballspiele

Lorem Ipsum

Automatische Videoanalyse

durch ein KI-System

Spieler- und Ballerkennung

Video aus mobilem Ein-Kamera-System

Automatische Teamerkennung und Ballbesitzberechnung

In Kooperation mit Videoanalyse Wenger

Funk­ti­ons­wei­se

Lorem Ipsum

Road­map

  • Test mit fer­ti­gem Mo­dell

    • Für die ers­ten Tests nutz­ten wir den frei ver­füg­ba­ren Co­co-Da­ten­satz.
    • Spie­ler konn­ten wir da­mit recht gut er­ken­nen, doch die Bäl­le stell­ten sich als Pro­blem her­aus.
    • Es war klar, dass wir ein von Grund auf neu­es Mo­dell trai­nie­ren muss­ten.
    Lorem Ipsum

  • Trai­nings­da­ten an­no­tie­ren

    • Aus den auf­ge­zeich­ne­ten Vi­de­os wur­den ein­zel­ne Frames aus­ge­wählt.
    • Dar­auf ha­ben wir al­le Spie­ler und Bäl­le von Hand ein­ge­zeich­net.
    • Mit un­se­ren 1200 Aus­schnit­ten wur­de un­ser KI-Mo­dell trai­niert.
    Lorem Ipsum

  • Au­to­ma­ti­sche An­no­ta­ti­on der Trai­nings­da­ten

    • Das hän­di­sche An­no­tie­ren war äu­ßerst zeit­auf­wän­dig, al­so such­ten wir schnel­le­re We­ge zum Ziel.
    • Wir pro­bier­ten Tools zur au­to­ma­ti­sier­ten An­no­ta­ti­on, von de­nen kei­nes zu­frie­den­stel­len­de Er­geb­nis­se lie­fer­te.

  • Ei­ge­nes Mo­dell trai­nie­ren

    • Un­ser KI-Mo­dell ba­siert auf dem weit ver­brei­te­ten Dar­knet-Frame­work.
    • Das Trai­nie­ren von KI-Mo­del­len er­for­dert ex­tre­me Re­chen­leis­tung. Wir be­nutz­ten Goog­le Colab, um un­se­re Mo­del­le in der Cloud zu trai­nie­ren.
    • Ein Trai­nings­durch­lauf dau­er­te et­wa 12 Stun­den.
    • Ins­ge­samt trai­nier­ten wir 7 Mo­del­le.

  • Trai­nings­da­ten aug­men­tie­ren und syn­the­ti­sie­ren

    • Das Fin­den des Bal­les war un­se­re größ­te Her­aus­for­de­rung, da er ex­trem klein ist.
    • Wir setz­ten Bildaug­men­tie­rung ein, um die Er­ken­nungs­ra­te der KI zu stei­gern.
    • Gro­ße Fort­schrit­te brach­te erst die Syn­the­se von Trai­nings­da­ten. Das stei­ger­te die Er­ken­nungs­ge­nau­ig­keit des Bal­les am En­de auf 37 %, die der Spie­ler auf 61 %.
    Lorem Ipsum

  • Tracking

    • Ne­ben Er­ken­nung durch KI un­ter­such­ten wir auch den Ein­satz von Ob­ject Tracking.
    • Ein ein­zel­ner Fuß­ball lässt sich da­mit durch­aus gut ver­fol­gen.
    • Pro­ble­me kom­men, wenn Spie­ler in Ball­nä­he sind - in 9 von 10 Fäl­len ver­folgt der Tra­cker lie­ber ei­nen Schuh als den Ball.
    • Auf­grund der Un­zu­ver­läs­sig­keit des Trackings nah­men wir die­se Tech­no­lo­gie nicht in un­ser Sys­tem auf.
    Lorem Ipsum

  • Bild­vor­ver­ar­bei­tung

    • Um die KI zu be­schleu­ni­gen, über­leg­ten wir uns We­ge, wie wir ir­re­le­van­te In­for­ma­tio­nen aus dem Vi­deo be­sei­ti­gen konn­ten.
    • Wir er­reich­ten ei­ne gu­te Kan­ten­de­tek­ti­on mit Open­CV, mit der wir ein Spiel­feld aus dem lau­fen­den Vi­deo aus­schnei­den kön­nen.
    • Am En­de war die Per­for­mance die glei­che, al­so ver­folg­ten wir die Idee nicht wei­ter.
    Lorem Ipsum

  • Sys­tem auf GPU por­tie­ren

    • Mit­tels CU­DA las­sen wir un­se­re KI auf ei­ner de­di­zier­ten Gra­fik­kar­te lau­fen.
    • Der Leis­tungs­un­ter­schied im Ver­gleich mit dem Rech­nen auf der CPU ist da­bei enorm.
    • Un­ser Test­sys­tem (Ry­zen 7 5800x & Nvi­dia GTX1070 TI mit 8 GB VRAM) er­reicht 10 FPS beim Rech­nen der KI.

  • Teamer­ken­nung

    • Um Sta­tis­ti­ken aus den er­kann­ten Spie­lern ab­zu­lei­ten, müs­sen wir wis­sen, zu wel­chem Team sie ge­hö­ren.
    • Wir kom­bi­nie­ren Far­ber­ken­nung mit­tels Durch­schnitts­wer­ten mit k-means-Clus­te­ring, um die Spie­ler an­hand der Tri­kot­far­ben in zwei Teams ein­zu­tei­len.
    Lorem Ipsum

  • Sta­tis­ti­ken

    • Die ver­läss­lichs­te Sta­tis­tik, die wir aus un­se­ren Da­ten zie­hen kön­nen, ist der Ball­be­sitz.
    • An­hand der eu­kli­di­schen Dis­tanz zum Ball kön­nen wir den nä­hes­ten Spie­ler er­fas­sen.
    • Je nach Team­far­be des nä­hes­ten Spie­lers wird Bild für Bild der ak­tu­el­le Ball­be­sitz be­rech­net.
    Lorem Ipsum

  • GUI

    • Ei­ne gra­fi­sche Ober­flä­che ver­bin­det al­le Kom­po­nen­ten un­se­res KI-Sys­tems.
    • Die GUI er­laubt das Ein- und Aus­schal­ten der ein­zel­nen Ar­beits­schrit­te so­wie ei­ne leicht ver­ständ­li­che Dar­stel­lung der Ball­be­sitz­sta­tis­tik.
    Lorem Ipsum

Tools

KI-Frame­work

  • Dar­knet
  • Yo­lo v4 De­tec­tor

Cloud Trai­ning

  • Goog­le Colab

Trai­nings­da­ten

  • La­belimg

Pro­gram­mie­rung

  • Py­thon 3.7

Vi­de­o­f­rame­work

  • Open­CV

GUI-Frame­work

  • Qt über Py­Qt 5.11

Vi­deo

Her­aus­for­de­run­gen

Vi­deo­ma­te­ri­al

  • Ball klein und schwer er­sicht­lich
  • Schwie­ri­ge Licht­ver­hält­nis­se
  • Team­far­ben schwer un­ter­scheid­bar
  • Ge­rin­ge Auf­lö­sung

Leis­tung

  • Leis­tungs­an­for­de­run­gen sehr hoch
  • Test­rech­ner: 2 FPS mit GTX1070 Ti
  • GPU-Spei­cher und CPU zu 100% aus­ge­las­tet
  • Um­set­zung auf Em­bed­ded Sys­tem nur in sehr be­grenz­tem Um­fang mög­lich

Trai­nings­da­ten

  • KI-Mo­dell von Grund auf selbst trai­niert
  • Ver­hält­nis von Spie­lern zu Bäl­len un­güns­tig
  • Trai­nings­da­ten wur­den syn­the­ti­siert

Aus­sich­ten

KI-Er­ken­nungs­ra­te

  • Er­ken­nen des Balls wird schwie­rig blei­ben
  • Aus­bau des Test­da­ten­sat­zes wird Ge­nau­ig­keit er­hö­hen

Einsatz auf Embedded Systems

  • In ein­ge­schränk­tem Rah­men denk­bar
  • An­bin­dung von Ka­me­r­a­sys­tem an KI mög­lich
  • Teamer­ken­nung auf­grund man­geln­der Leis­tung un­mög­lich

Ball-In­ter­po­la­ti­on

  • Rück­rech­nen zwi­schen ein­zel­nen Frames
  • Könn­te Aus­wer­ten der ver­lo­re­nen Frames er­mög­li­chen
  • Er­for­dert Plau­si­bi­li­täts-Checks

Team

Lorem Ipsum

Flo­ri­an Berghu­ber

Lorem Ipsum

Lu­cas Drack

Lorem Ipsum

Phi­lip Ecker

Lorem Ipsum

Ma­nu­el Kug­ler

Lorerm Ipsum

Mar­kus Neu­wirt

Lorem Ipsum

Si­mon Steindl

Kon­ta­kt

Masterstudium für Embedded und Smart Systems

Soft­ware­park 11, 4232 Ha­gen­berg im Mühl­kreis, Ös­ter­reich

Homepage

www.fh-ooe.at/esd

Email

in­fo@fh-ha­gen­berg.at

Unser Partner:

Videoanalyse Wenger

www.videoanalyse-wenger.at