F>Я думаю правильнее было бы искать в описаниях соответствующих библиотек, например: MSHTML
Байты от и до указываются в заголовках HTTP — поэтому смотри в описание именно протокола HTTP...

Здравствуйте, Nikolay_Ch, Вы писали:

N_C>Вероятно — т.к. мы делали на чистых сокетах. И сервер упорно игнорировал запросы, пока не добавили эти заголовки...
И правильно делал. Откуда он знает, что на них отвечать?

Раз уж речь идет о создании элегантного паука на mshtml, то среди прочих аспектов необходимо определить мезанизм докачки после разрыва связи. Меня в этом механизме интересует способ формирования запроса на часть html-кода.
Где-то мне сказали что закачку страницы можно начинать с указанного байта и остоновить на указанном байте (так что оставшаяся часть не включается в трафик), но как это делается — ответа я еще не получил.

F> Где-то мне сказали что закачку страницы можно начинать с указанного байта и остоновить на указанном байте (так что оставшаяся часть не включается в трафик), но как это делается — ответа я еще не получил.

Ну раз ответа из того места, "где тебе сказали" пока нету, наверное надо почитать первоисточник — спецификацию HTTP.
здесь должно быть где-то

Здравствуйте, Igor Trofimov, Вы писали:

F>> Где-то мне сказали что закачку страницы можно начинать с указанного байта и остоновить на указанном байте (так что оставшаяся часть не включается в трафик), но как это делается — ответа я еще не получил.

iT>Ну раз ответа из того места, "где тебе сказали" пока нету, наверное надо почитать первоисточник — спецификацию HTTP.
iT>здесь должно быть где-то

Я думаю правильнее было бы искать в описаниях соответствующих библиотек, например: MSHTML, кстати там есть метод — Navigate, и возможно ответ на мой вопрос содержится в его аргументах (это я проверю в MSDN).
Воабще, я думал что мое сообщение прицепится к теме о создании паука, для выкачивания сайтов, там как-раз собралась нужная мне аудитория, но сообщение вышло отдельной темой (это из-за того что кнопки в форуме не подписаны, хотя в целом форум мне нравится).

Здравствуйте, Nikolay_Ch, Вы писали:

F>>Я думаю правильнее было бы искать в описаниях соответствующих библиотек, например: MSHTML
N_C>Байты от и до указываются в заголовках HTTP — поэтому смотри в описание именно протокола HTTP...

Заголовки. Я нашел про них информацию здесь.

If the download fails, when the file is requested again, Internet Explorer will send the ETag, file name, and the value range indicating how much of the file has been successfully downloaded before the interruption so that the Web server (IIS) can attempt to resume the download. That second request might look something like this.


GET http://192.168.0.1/download.zip HTTP/1.0
Range: bytes=933714-
Unless-Modified-Since: Sun, 26 Sep 2004 15:52:45 GMT
If-Range: "58afcc3dae87d52:3173"

Я так понял, что "ETag, file name, and the value range" — это элементы заголовка (показанные на сером фоне), а "second request" — это запрос на докачку.

В MSHTML есть метод

Sub Navigate(URL As String, [Flags], [TargetFrameName], [PostData], [Headers])

, в котором [Headers] — это и есть структура в которую записываются элементы заоловка.
Кстати, где-то я читал, что элемент заголовка "Range: bytes=n" можно указать в адресной строке IE, тогда загрузка пойдет с n-го байта. Но у меня с этим ни чего не вышло, можт быть надо соблюсти правила некоторого синтаксиса.

F>Кстати, где-то я читал, что элемент заголовка "Range: bytes=n" можно указать в адресной строке IE, тогда загрузка пойдет с n-го байта. Но у меня с этим ни чего не вышло, можт быть надо соблюсти правила некоторого синтаксиса.
Понимаешь, тут такая фича. Заголовок Range работает только для HTTP 1.1. А для 1.1 еще надо указать заголовок Host... Если этого не сделать — то ничего не получится.

Здравствуйте, Nikolay_Ch, Вы писали:

F>>Кстати, где-то я читал, что элемент заголовка "Range: bytes=n" можно указать в адресной строке IE, тогда загрузка пойдет с n-го байта. Но у меня с этим ни чего не вышло, можт быть надо соблюсти правила некоторого синтаксиса.
N_C>Понимаешь, тут такая фича. Заголовок Range работает только для HTTP 1.1. А для 1.1 еще надо указать заголовок Host... Если этого не сделать — то ничего не получится.

В моем источнике об этом ничего не сказано, там даже не встречается слова Host, при этом там преведены примеры заголовков для обоих протоколов.
В любом случае, свою задачу я решил, способ скачивания кусков html-кода найден. Хотя, судя по статьям, не все серверы отдают код кусками, мне таких еще не попадалось.
Всем спасибо за поддержку. Форум — то — что — надо.

F>В моем источнике об этом ничего не сказано, там даже не встречается слова Host, при этом там преведены примеры заголовков для обоих протоколов.
Дело в том, что когда мы реализовывали клиентов HTTP — то столкнулись именно с этой проблемой.

Здравствуйте, Nikolay_Ch, Вы писали:

F>>В моем источнике об этом ничего не сказано, там даже не встречается слова Host, при этом там преведены примеры заголовков для обоих протоколов.
N_C>Дело в том, что когда мы реализовывали клиентов HTTP — то столкнулись именно с этой проблемой.
Скорее всего, WebRequest уже достаточно умен, чтобы автоматически вычислить HOST из запрошенного урла и передать его в запросе.

N_C>>Дело в том, что когда мы реализовывали клиентов HTTP — то столкнулись именно с этой проблемой.
S>Скорее всего, WebRequest уже достаточно умен, чтобы автоматически вычислить HOST из запрошенного урла и передать его в запросе.
Вероятно — т.к. мы делали на чистых сокетах. И сервер упорно игнорировал запросы, пока не добавили эти заголовки...

N_C>>Вероятно — т.к. мы делали на чистых сокетах. И сервер упорно игнорировал запросы, пока не добавили эти заголовки...
S>И правильно делал. Откуда он знает, что на них отвечать?
Не... Ну если про заголовок версии я еще понимаю, но почему требовался заголовок HOST — я понять не могу...

Здравствуйте, Nikolay_Ch, Вы писали:

N_C>>>Вероятно — т.к. мы делали на чистых сокетах. И сервер упорно игнорировал запросы, пока не добавили эти заголовки...
S>>И правильно делал. Откуда он знает, что на них отвечать?
N_C>Не... Ну если про заголовок версии я еще понимаю, но почему требовался заголовок HOST — я понять не могу...
Гм. А если на одном IP висит несколько виртуальных сайтов, то чей контент он должен отдавать?

Здравствуйте, Nikolay_Ch, Вы писали:

N_C>Не... Ну если про заголовок версии я еще понимаю, но почему требовался заголовок HOST — я понять не могу...

Спецификацию посмотри — там всё написано. Виртуальный хостинг на этом держится.

A>Спецификацию посмотри — там всё написано. Виртуальный хостинг на этом держится.
Каюсь... Невнимательно тогда читал... Хотя, видимо это не в базовой спецификации?

Здравствуйте, Nikolay_Ch, Вы писали:

N_C>Хотя, видимо это не в базовой спецификации?

У меня перевод RFC 2068, разделы 5.1, 5.2, 14.23, 19.5.1. В Сети куча переводов на русский. Возможно, что сейчас ещё чего добавили в этот RFC.

A>У меня перевод RFC 2068, разделы 5.1, 5.2, 14.23, 19.5.1. В Сети куча переводов на русский. Возможно, что сейчас ещё чего добавили в этот RFC.
Сейчас вспомнил... Именно прочитав этот пункт (5.2) мы и дописали все эти заголовки. Просто было это давно...