ChatGPT och andra språkmodeller har visat begränsad förmåga att analysera maritima trafiksituationer på sjön. De saknar helt enkelt förmågan att föra rumsliga resonemang. Forskare tror att detta kan förbättras med maskininlärning och mer data.
I projektet COLREG2 jämfördes AI-baserade beslutsstödsystem med mänskliga befälhavare, där algoritmerna visade sig vara mycket mindre effektiva. Emellertid visade senare forskning att språkmodeller som ChatGPT kan resonera kring komplexa texter och uppgifter, vilket kan adressera dessa brister. Förstudien COLREG3 undersöker potentialen hos stora språkmodeller i maritima beslutsstödsystem.
– I november blev det möjligt att använda bilder på ChatGPT. Så vi gjorde enkla diagram med trafiksituationer där fartyg illustrerades med trianglar för att se om ChatGPT kunde tolka dem rätt. Resultatet visade tydligt att den inte klarade av det speciellt bra, säger Luis Sanchez-Heres på RISE som lett projektet.
Men det finns ju andra avancerade språkmodeller, tänkte forskarna och testade flera andra.
– Vi var ganska förvånande men de flesta stora språkmodellerna är ganska dåliga på att föra rumsliga resonemang. Vi körde en modell med flera frågor där de ombads att välja styrbord eller babord. De svarade bara rätt i 60 procent av fallen.
Men det betyder inte att man gett upp hoppet om att det stora språkmodellerna kan införlivas i beslutsstödsystem för marina trafiksituationer i framtiden.
– Vår plan är att fortsätta köra våra tester på språkmodellerna med jämna mellanrum. Det tar bara tio minuter. För förr eller senare kommer språkmodellerna bli bra på det här. Utvecklingen går ju galet fort. När vi påbörjade projektet kunde vi bara få svar i text, sex månader senare kan Open AI skapa videor. Så vem vet hur det ser ut om ytterligare 6 månader? säger Luis Sanchez-Heres.
Källa: Lighthouse