как сканировать веб-страницу с помощью элементов ajax

Question

как сканировать веб-страницу с помощью элементов ajax

Я хочу сканировать некоторые веб-страницы, например следующие

http://www.youtube.com/user/koglin66/feed?filter=2

но есть кнопка «загрузить больше», она связана с запросом ajax

http://www.youtube.com/channel_ajax?action_load_more_feed_items=1&activity_view=1&paging=1352148528&channel_id=UCCw8aVnsIeu9S6OPQyaQ14g

Я хочу просканировать всю страницу. Вручную, я нажимаю на кнопку несколько раз, пока больше не загружается, по автоматизации, как я могу сканировать всю страницу? благодаря!

0

добавлено 09 Январь 2013 в 06:08 автор user1944267

Просмотры: 3

источник

nl ja de

2 ответы

Видеокурс "Создание приложений для Android"

Получи множество видеоуроков по Android сейчас

автор user2647646 · Answer 1 · 2013-08-06T01:59Z

Да, вы можете использовать Selenium IDE или использовать другую программу/библиотеку с ядром браузера, чтобы выполнить действие click. Как webkit, activex IE.

И вы можете попробовать FMiner http://www.fminer.com/ , он может записывать и воспроизводить действия человека на браузер для очистки данных, но это не бесплатно.

автор Pratik · Answer 2 · 2013-03-17T06:23Z

Я недавно столкнулся с такой же проблемой с другим сайтом, который хотел отменить. Я использую Java, и после некоторых исследований в Интернете я использовал Selenium IDE для firefox, в котором вы можете писать тестовые примеры Java Junit, которые автоматически откроют веб-страницу и кнопки, заполняют формы и т. Д. Он также поддерживает C#, Python, ruby и т. Д.

Я использовал его, чтобы нажать кнопку «Загрузить еще», и когда страница была загружена полностью после всех кликов, я сохранил ее вручную.

You can download Selenium from their website and I found this youtube video useful too http://www.youtube.com/watch?v=twdDfDOrHC4