как сканировать веб-страницу с помощью элементов ajax

Я хочу сканировать некоторые веб-страницы, например следующие

http://www.youtube.com/user/koglin66/feed?filter=2

но есть кнопка «загрузить больше», она связана с запросом ajax

http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g

Я хочу просканировать всю страницу. Вручную, я нажимаю на кнопку несколько раз, пока больше не загружается, по автоматизации, как я могу сканировать всю страницу? благодаря!

0
nl ja de

2 ответы

Да, вы можете использовать Selenium IDE или использовать другую программу/библиотеку с ядром браузера, чтобы выполнить действие click. Как webkit, activex IE.

И вы можете попробовать FMiner http://www.fminer.com/ , он может записывать и воспроизводить действия человека на браузер для очистки данных, но это не бесплатно.

1
добавлено

Я недавно столкнулся с такой же проблемой с другим сайтом, который хотел отменить. Я использую Java, и после некоторых исследований в Интернете я использовал Selenium IDE для firefox, в котором вы можете писать тестовые примеры Java Junit, которые автоматически откроют веб-страницу и кнопки, заполняют формы и т. Д. Он также поддерживает C#, Python, ruby и т. Д.

Я использовал его, чтобы нажать кнопку «Загрузить еще», и когда страница была загружена полностью после всех кликов, я сохранил ее вручную.

You can download Selenium from their website and I found this youtube video useful too http://www.youtube.com/watch?v=twdDfDOrHC4

0
добавлено
JavaScript Jobs — чат
JavaScript Jobs — чат
8 336 участник(ов)

JavaScript Jobs — чат для поиска работы и людей Правила оформления: https://teletype.in/@telegram-ru/r1WQe5F1m См. также: @mobile_jobs, @devops_jobs, @nodejs_jobs, @react_js, @angular_ru, @js_ru

JavaScript.ru
JavaScript.ru
7 932 участник(ов)

Сообщество сайта JavaScript.ru в Slack.

pro.js
pro.js
4 675 участник(ов)

Про JavaScript и NodeJS Invite: https://t.me/joinchat/Be4rsT5Rsgq30DHutjxXgA Правила: http://telegra.ph/ru-chat-rules-06-19 Вакансии только с ЗП, не чаще раза в неделю.

JavaScript — русскоговорящее сообщество
JavaScript — русскоговорящее сообщество
3 269 участник(ов)

Рекомендуем сразу отключить уведомления Правила: https://rudevs.network/ByaMH6un7 См. также: @js_noobs_ru, @nodejs_ru, @typescript_ru, @react_js, @electron_ru Вакансии и поиск работы: @javascript_jobs

JavaScript Noobs — сообщество новичков
JavaScript Noobs — сообщество новичков
2 484 участник(ов)

Чат для новичков

javascript_ru
javascript_ru
915 участник(ов)

Сообщество любителей самого популярного языка программирования в мире. Чат основан в 2009 году. Логи: https://goo.gl/9EOeM7 Поддержка бота: @chat_linker (ссылка на репу внутри) Вам будут интересны @frontend_ru и @css_ru

jsChat
jsChat
603 участник(ов)

Чат посвященный программированию на языке javaScript Перед отправкой ссылки на Ваш контент посоветуйтесь с админом Все ссылки удаляются ботом автоматически

JavaScript for Zombies Chat
JavaScript for Zombies Chat
492 участник(ов)

Чат про JavaScript для настоящих zombie! Вход строго по приглашениям! Ссылка для строгих приглашений: https://t.me/joinchat/AAMBHz3Uyr0tuZ7VaB029g

All That JS
All That JS
417 участник(ов)

JS на русском