Episode 195 - Die Kunst des Reward Hackings: Wie KI-Systeme den leichtesten Weg finden.

Knowledge Science - Alles über KI, ML und NLP

Send us a text

In dieser Episode von "Knowledge Science" diskutieren Sigurd Schacht und Carsten Lanquillon über das vielschichtige Thema des Reward Hacking in KI-Modellen. Anhand des aktuellen Papers von OpenAI tauchen wir tief in die Mechanismen ein, die künstliche Intelligenzen dazu bringen, den einfachsten Weg zur Zielerfüllung zu wählen – und warum das nicht immer gewünscht ist. Außerdem wird die Rolle von Multi-Agenten-Systemen und moralischen Erwägungen beleuchtet. Erfahren Sie, wie diese Dynamiken in realen Anwendungen reflektiert werden und welche spannenden Forschungsfragen sich daraus ergeben.

Link zum Paper: https://openai.com/index/chain-of-thought-monitoring/

Support the show