Вкладка Video recording settings
Resolution ставишь родное монитора/сампа(то которое стоит в игре). Если комп пипец слабый рекомендую 1280 720, ниже врятли твой фрапс примут
Frame rate 30 обычно хватает на любом сервере чтобы твой фрапс приняли
Video codec У всех по разному, надо самому потыкать посмотреть
Ну и все, остальное трогать особо нет смысла