В RL есть устоявшаяся терминология подходов к моделям. Если хотите быстро разобраться что к чему, то эта серия видео будет кстати. Несмотря на то что последние лекции несколько укорочены, общее представление можно получить достаточно быстро. И отдельно можно посмотреть примерно то же самое, но со спецификой offline RL.