NodeJS Парсер

Статус
В этой теме нельзя размещать новые ответы.

Kecer

Участник
Автор темы
241
11
Приветствую, хочу написать парсер для парсинга жалоб на форуме Arizona rp, условно говоря появляется новая жалоба и она кидается мне в лс вк
Пытался реализовать через puppeter и axios но не совсем понимаю как это реализовать можно, что бы условно говоря оно каждые 10 секунд проверяла раздел и парсило именно новую тему
 
Решение
На первое время можешь обойтись без обхода ддос защиты, просто заходишь на форум, копируешь эту куку и отправляешь запросы с ней(у cloudflare куку нужно обновлять раз в сутки, что данные типочки придумали хз) (и юзерагент не забудь на всякий)
1656360052929.png

Будем отправлять запросы на rss. Заходишь на нужный форум, и дописываешь "/index.rss" в адресную строку.
1656360453377.png

Проходишься xml-парсером по итемам на странице, тут всё на блюдечке подано, заголовок, дата, ссылка, автор, всё есть
1656360821741.png

Обёртываешь всё это в цикл на минуту, ставишь в поиск <title> свой ник, прикручиваешь уведомления. Готово.

Kecer

Участник
Автор темы
241
11
не сможешь там защита от ддоса, только питон и это надо покупать. тебе с такими вопросами скорее в раздел работа и услуги
На питоне такой прикол уже есть, но на node js я такую фичу уже делал, то-есть у меня всё же получалось парсить информацию какуе-ту с форума, даже жбшки но это не совсем было доведено до ума, парсило тему которая попадалась первая
 

xdswd

Известный
364
253

Михаил Бластов

Известный
457
169
На питоне такой прикол уже есть, но на node js я такую фичу уже делал, то-есть у меня всё же получалось парсить информацию какуе-ту с форума, даже жбшки но это не совсем было доведено до ума, парсило тему которая попадалась первая
ты понимаешь что подобные штучки у пиздец какого маленького количества людей? тебе ведь никто просто так подобное скидывать не будет
 

Kecer

Участник
Автор темы
241
11
ты понимаешь что подобные штучки у пиздец какого маленького количества людей? тебе ведь никто просто так подобное скидывать не будет
ну хз, на пайтоне исходники видел вроде легко выглядит, но так как пайтоном не пользуюсь сложно перевести это в node js версию, хотя бы просто понять как это сделать можно, мне не нужен фулл код, скорее просто понять что бы до-реализовать свою версию
 
Последнее редактирование:

Михаил Бластов

Известный
457
169
ну хз, на пайтоне исходники видел вроде легко выглядит, но так как пайтоном не пользуюсь сложно перевести это в node js версию, хотя бы просто понять как это сделать можно, мне не нужен фулл код, скорее просто понять что бы до-реализовать свою версию
давай лучше конкретно что у тебя не получается, используй тот же axios
 

xdswd

Известный
364
253
На первое время можешь обойтись без обхода ддос защиты, просто заходишь на форум, копируешь эту куку и отправляешь запросы с ней(у cloudflare куку нужно обновлять раз в сутки, что данные типочки придумали хз) (и юзерагент не забудь на всякий)
1656360052929.png

Будем отправлять запросы на rss. Заходишь на нужный форум, и дописываешь "/index.rss" в адресную строку.
1656360453377.png

Проходишься xml-парсером по итемам на странице, тут всё на блюдечке подано, заголовок, дата, ссылка, автор, всё есть
1656360821741.png

Обёртываешь всё это в цикл на минуту, ставишь в поиск <title> свой ник, прикручиваешь уведомления. Готово.
 
Последнее редактирование:
Статус
В этой теме нельзя размещать новые ответы.