Изменение на сайте.

Josski Molodoi

Активный
Автор темы
182
83
Мне нужно отслеживать сайт каждую секунду на наличие изменений.
Мой вариант (сомневаюсь в его адекватной работоспособности):
Python:
while True:
    c1 = get("https://www.link.com").text

    c2 = get("https://www.link.com").text

    c3 = get("https://www.link.com/test").text

    c4 = get("https://www.link.com/test").text

    if c1 != c2:
        bot.send_message(message.chat.id, "На сайте <i>...</i> произошли изменения.\nВозможная причина: <b>дроп</b>", parse_mode="html")
    elif c3 != c4:
        bot.send_message(message.chat.id, "На сайте <i>...</i> произошли изменения.\nВозможная причина: <b>анонс дропа</b>", parse_mode="html")

bot.polling(none_stop=True)

Необходимо чтобы код срабатывал очень быстро, без задержек итп.
Помогите.
 
Решение
Всё круто кроме одной херни которую я не знаю как решить.

Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.

Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается...

laiser

Известный
184
90
сделай задержку хотяб в 0.2 сек
По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.

Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота
 

Josski Molodoi

Активный
Автор темы
182
83
сделай задержку хотяб в 0.2 сек
По идеи если сайт будет быстро отвечать и не заблокает тебя по ип, то вроде все четко.

Можно еще попробовать с созданием сессии рекьюста, для разных пользователей твоего бота
Всё круто кроме одной херни которую я не знаю как решить.

Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.

Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
 

laiser

Известный
184
90
Всё круто кроме одной херни которую я не знаю как решить.

Всё работает прекрасно на ВДС и моём ПК, но как только загружаю скрипт на heroku всё просто падает. Я уже имел опыт с heroku и это моя первая неполадка с этим сервисом. Он просто не делает запросы из либы requests. Никаких ошибок, ничего. Просто нет запросов.

Есть идея как решить эту проблему?
Может ты знаешь другие фри хостинги?
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.
 
  • Нравится
Реакции: Josski Molodoi

Josski Molodoi

Активный
Автор темы
182
83
Все бесплатные сервисы блокируют такое, по понятным на то причинам. Ибо нехер холопам нагружать их сервис.
Точно не знаю, но можешь попробовать replit.com. Только там скрипт через какое-то время офается, но можно написать какой-то другой скрипт, который будет его поднимать.
Еще может юзать вдс от амазона или гугл клауд. В гугл дается баланс и его хватает на 3 месяца. В инете полябак должна быть инфа по этому поводу.
Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.

Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?
 

laiser

Известный
184
90
Запустил на ВДС, там такая проблема что парсится не весь HTML текст. Просто не прогружается. Ставил вне цикла, результат такой же.

Прочитал пару форумов - пишут, что объекты прогружаются после JS. Открыл этот сайт через Internet Explorer и Mozilla на том же ВДС, результат разный. В Эксплорере не прогружается, в Мозилле всё ОК. Но requests на ВДС работает почему-то как Эксплорер, абсолютно то же самое загружает (неполный HTML). Как решить подобное?
Ты можешь запустить мазилу с отключенным JS, чтобы полностью убедиться, что сайт может работать без JS.
Если все гуд, то используй юзер агент.
Код:
headers = {'User-Agent': Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'}
response = requests.get('site.com', headers=headers).text
Можешь использовать так же fake user agent

Если же сайт не работает без JS, то тут нужно использовать например селениум или другую подобную библиотеку
 
  • Нравится
Реакции: Josski Molodoi