Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
imgui.PushStyleVar(imgui.StyleVar.FrameRounding, FLOAT_VALUE)
-- тут кнопка. Вместо FLOAT_VALUE закругление
imgui.PopStyleVar()
--или это в тему имгуи
local style = imgui.GetStyle()
style.FrameRounding = 5.0