Исходник Парсер всех тем заданного раздела с обходом антиддос защиты

[Oniel]

Апи ключ, как я понял, давать не будут. Но он, собственно, мне и не сильно нужен. Написал парсер тем заданного раздела, который парсит темы в формате: название темы, тэги темы, содержание темы, автор темы, вложения темы.

Для чего использовать?
Например, как расширенную RSS-ленту. Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

Парсер работает только с темами UIX и IO, но изменить не составит труда. Парсер довольно-таки медленный из-за работы с селениум, но если сайт не имеет антиддос защиты, то можно использовать обычные запросы и парсинг будет происходить мгновенно.

Если хотите открыть свой форум, то парсер можно скрутить с XF REST API и быстро набить себе базу тем, если вы понимаете, о чем я.

GitHub - 0niel/xf2-parse: XenForo2 threads parser

XenForo2 threads parser. Contribute to 0niel/xf2-parse development by creating an account on GitHub.

github.com

 

[Ded Perded]

Например, как расширенную RSS-ленту. Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

почему бы не использовать RSS?

 

[Oniel]

почему бы не использовать RSS?

Как минимум потому, что в ленте ограниченное кол-во отображаемых строк из темы, а выводятся темы не из конкретного раздела, а последние.

 

[™ ChipFamily]

Можно сделать чат-бота (вк, телеграм) с уведомлениями о темах, получением информацией о теме.

Может сразу и сделаешь. Бот от @Niko вконтакте накрылся, а для Telegram'а еще никто не делал.