Google felszólítja az alvállalkozókat a Gemini kéréseinek értékelésére szakterületükön kívül is
A legújabb jelentések szerint a Google arra kéri az alvállalkozókat, akik a Gemini válaszainak értékelésén dolgoznak, hogy szakterületükön kívül eső kéréseket is értékeljenek. A beszámoló szerint a kaliforniai Mountain View-ban működő techóriás eltávolította a kérések kihagyásának lehetőségét, amelyet korábban az értékelők használhattak, ha nem érezték magukat elég kompetensnek egy adott témában. Ez a változtatás az MI alapú chatbotok esetében komoly aggodalomra ad okot, mivel a szakmai tudás hiánya az eredmények pontosságának csökkenéséhez vezethet.
A kérések kihagyásának tilalma
A TechCrunch értesülései szerint a Google új belső irányelveket adott ki a Gemini projekt alvállalkozóinak. A kiadvány állítása szerint a cég belső jegyzetet küldött az értékelőknek, amelyben arra utasította őket, hogy akkor is értékeljék a kéréseket, ha nem rendelkeznek az adott szakterülethez szükséges mélyebb ismeretekkel.
A jelentés szerint a Google a Gemini válaszainak értékelését a Hitachi tulajdonában lévő GlobalLogic vállalatra bízza. Az alvállalkozók feladata, hogy elolvassák a technikai kéréseket, majd az MI válaszait több szempont, például a hitelesség és a pontosság alapján értékeljék. Az értékelők különböző szakterületeken rendelkeznek szakértelemmel, például programozásban, matematikában vagy orvostudományban.
Az eddigi gyakorlat és az új irányelvek
Korábban az értékelők kihagyhatták azokat a kéréseket, amelyek kívül estek szakterületükön. Ez biztosította, hogy csak megfelelő képesítéssel rendelkező szakértők értékeljék a Gemini technikai válaszait, csökkentve az MI-válaszok pontatlanságát. Ez az alapmodellek képzés utáni szokásos gyakorlata, amely segít az MI válaszainak megbízhatóságának növelésében.
Azonban az új irányelvek bevezetésével a GlobalLogic közölte, hogy az értékelők már nem hagyhatják ki a kéréseket, kivéve, ha a válasz „teljes mértékben hiányzó információt” tartalmaz, vagy ha a tartalom káros, és különleges hozzájárulási űrlapot igényel az értékeléshez.
A szakértelem hiányának kezelése
A belső jegyzet szerint az értékelők nem hagyhatják ki azokat a kéréseket sem, amelyek „speciális szakterületi tudást igényelnek”. Ehelyett azokat a részeket kell értékelniük, amelyeket megértenek. A jelentés szerint arra is megkérték őket, hogy tegyenek megjegyzést arról, ha nem rendelkeznek az adott szakterülethez szükséges ismeretekkel.
Ez a változás komoly aggályokat vet fel az MI-válaszok minőségével kapcsolatban, különösen a bonyolult technikai témákban. Az értékelők szaktudásának hiánya torzíthatja az eredményeket, és növelheti az úgynevezett „hallucinációk” számát az MI által generált válaszokban.
