ошибка в запросе

[advancerp]

сам скрипт запускается, но как только дело доходит до выполнения запроса:

response = requests.get(url, headers=header)
soup = BeautifulSoup(response.content, 'html.parser')

то вылазит ошибка:

'latin-1' codec can't encode characters in position 69-71: ordinal not in range(256)

import sys
import locale
print(sys.getfilesystemencoding())
print(locale.getpreferredencoding())

результат:

utf-8
cp1251

на просторах интернета решения проблемы не нашел. помогите, в чем проблема и как ее исправить?

 

[MrDorlik]

попробуй и отпиши, есть другой способ еще

soup = BeautifulSoup(response.content, 'html.parser', from_encoding='utf-8')

 

[advancerp]

попробуй и отпиши, есть другой способ еще

soup = BeautifulSoup(response.content, 'html.parser', from_encoding='utf-8')

то же самое

 

[MrDorlik]

то же самое

import locale
locale.setlocale(locale.LC_ALL, 'ru_RU.UTF-8')

 

[advancerp]

import locale
locale.setlocale(locale.LC_ALL, 'ru_RU.UTF-8')

этот способ я тоже пробовал, ничего не меняется

 

[MrDorlik]

этот способ я тоже пробовал, ничего не меняется

значит с сайтом фигня какая-то, либо я чет не знаю. ты проверял какую кодировку возвращает? мб там и не ютф-8

print(response.headers['Content-Type'])

 

[advancerp]

значит с сайтом фигня какая-то, либо я чет не знаю. ты проверял какую кодировку возвращает? мб там и не ютф-8

print(response.headers['Content-Type'])

utf-8 на сайте
у меня все хорошо было, работало, но в один момент я как обычно его запускаю и вылазит эта ошибка, с другого компа все норм

upd. решено. проблема была в том, что user agent был с русскими символами, копировал вместе с переводом и даже не заметил...