обрабатывать коллекцию URL-адресов параллельно и возвращать IEnumerable

Question

обрабатывать коллекцию URL-адресов параллельно и возвращать IEnumerable

У меня есть набор URL-адресов для соскабливания, и я хочу параллельно загружать ресурсы, возвращая коллекцию строго типизированных результатов.

Имея WebClient.DownloadString() и " MyTypedResult Process (строка s) "

How do I wrap it up to have a string[] urls => IEnumerable conversion?

string[] urls = {"url1","url2","url3"};
List ResultCollection = new List();
foreach (var u in urls)
{
    WebClient wc = new WebClient();
    var content = wc.DownloadString(u);
    MyTypedResult r = Process(content);
    ResultCollection.Add(r);
}

Я хочу, чтобы веб-запросы выполнялись параллельно, но мне нужна результирующая коллекция в List;

1

добавлено 07 Февраль 2013 в 09:30 автор Alexander Taran отредактировано 07 Февраль 2013 в 09:43

Просмотры: 3

источник

Не совсем понятно, что вы просите. Пожалуйста, покажите еще несколько кодов.

добавлено 07 Февраль 2013 в 09:33, автор Daniel Hilgarth, источник

3 ответы

Видеокурс "Создание приложений для Android"

Получи множество видеоуроков по Android сейчас

Вы можете использовать новую игрушку HttpClient из .NET 4.5, чтобы получить результат параллельно:

var httpClient = new HttpClient();

var tasks = urls.Select(url => httpClient.GetStringAsync(url)
                        .ContinueWith(task =>
                        {
                            string response = task.Result;
                            return ConvertToStrongType(response);
                        }));

 Task.WaitAll(tasks.ToArray());
 var results = tasks.Select(t => t.Result);

3

добавлено 07 Февраль 2013 в 09:40 автор Cuong Le

источник

@Alexander Taran: Да, конечно, используя GetStringAsync, выполните параллельную работу кода

добавлено 07 Февраль 2013 в 10:15, автор Cuong Le, источник

@AlexanderTaran: конечно, вы видите в фикере один за другим, но код с сервера использует Tasks process url, он почти означает каждый поток для каждого запроса. Изображение: отправив первое reuquest, код не дождался ответа ответа на процесс, он продолжает посылать второй запрос, это параллель, как вы это понимаете, правильно?

добавлено 07 Февраль 2013 в 10:30, автор Cuong Le, источник

@AlexanderTaran: Я боюсь, что я не понимаю, почему два запроса одновременно. Но вы можете проверить код, запустив его, поставьте Thread.Sleep (5000), чтобы увидеть, что происходит

добавлено 07 Февраль 2013 в 10:41, автор Cuong Le, источник

@AlexanderTaran: посмотрите временную метку в Fiddler, второй запрос приходит после первого в 5 секунд?

добавлено 07 Февраль 2013 в 11:03, автор Cuong Le, источник

@AlexanderTaran: Где вы помещаете Thread.Sleep?

добавлено 07 Февраль 2013 в 11:38, автор Cuong Le, источник

@AlexanderTaran: вы правы, я изменил ответ, PLS снова проверить

добавлено 07 Февраль 2013 в 12:16, автор Cuong Le, источник

вау, это выглядит претированным простым. Я дам ему выстрел и посмотрю, куда он меня доставит.

добавлено 07 Февраль 2013 в 09:44, автор Alexander Taran, источник

Теперь, если есть возможность запускать эти загрузки параллельно?

добавлено 07 Февраль 2013 в 09:56, автор Alexander Taran, источник

Ну, глядя на запросы в скрипаче, они, безусловно, происходят один за другим.

добавлено 07 Февраль 2013 в 10:19, автор Alexander Taran, источник

если бы это было так, тогда было бы как минимум два ожидающих запроса одновременно, но следующий запрос начинается только тогда, когда предыдущий закончен.

добавлено 07 Февраль 2013 в 10:38, автор Alexander Taran, источник

Да, да. И он ждет 5 секунд между запросами. Не выполнять их параллельно друг другу.

добавлено 07 Февраль 2013 в 11:01, автор Alexander Taran, источник

Да, через 5 секунд после первого.

добавлено 07 Февраль 2013 в 11:28, автор Alexander Taran, источник

перед возвратом ConvertToStrongType

добавлено 07 Февраль 2013 в 11:50, автор Alexander Taran, источник

@CuongLe есть ли способ ограничить количество задач, выполняемых параллельно?

добавлено 06 Декабрь 2017 в 01:58, автор PyQL, источник

Видеокурс по Java для начинающих

Получи видеокурс по Java для начинающих с упражнениями

Система управления ссылками ReDirector 3.0

Автор: Евгений Попов

автор Aleš Roubíček · Answer 1 · 2013-02-08T10:28Z

Это версия Rx с HttpClient :

var urls = new[] { "url1", "url2", "url3" };
var client = new HttpClient();
var results = from url in urls.ToObservable()
              from content in client.GetStringAsync(url).ToObservable()
              select Process(content);
var enumerable = results.ToEnumerable();

автор Imran Rizvi · Answer 2 · 2013-02-07T10:37Z

Ниже приведен код, он использует Parallel.ForEach для параллельной загрузки содержимого из URL-адреса. Вам необходимо использовать ConcurrentList, чтобы гарантировать, что сбор должен быть заполнен параллельно, без проблемы блокировки потока.

void YourTask()
{
    string[] urls = {"url1","url2","url3"};
    ConcurrentList ResultCollection = new ConcurrentList();

    Parallel.ForEach(urls, url => 
    {
        GetData(url);
        ResultCollection.TryAdd(myTypedResult);
    );

    //on this line all parallel task will be completed and ResultCollection will be filled with the results

}

MyTypedResult GetData(string url)
{
   WebClient wc = new WebClient();
    var content = wc.DownloadString(url);
    MyTypedResult r = Process(content);
    return r;
}