исправление скачаного битого файла

grayich	# 4 года, 6 месяцев назад
Темы: 216 Сообщения: 1984 Участник с: 08 января 2009	а чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp) с контролем их целостности и перекачиванием битых частей в случае надобности?

Aivar	# 4 года, 6 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	grayich с контролем их целостности и перекачиванием битых частей в случае надобности А такое вообще в природе существует? grayich чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp) aria2 на все случаи жизни. Может продолжать незаконченную закачку. Остальные хотелки, имхо, - утопия.

Aivar

# 4 года, 6 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

grayich
с контролем их целостности и перекачиванием битых частей в случае надобности

А такое вообще в природе существует?

grayich
чего в линухах имеется по поводу многопоточной закачки файлов(http/ftp)

aria2 на все случаи жизни. Может продолжать незаконченную закачку. Остальные хотелки, имхо, - утопия.

Aivar	# 4 года, 6 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	Кстати говоря, aria2 может проверять хеш скачанного файла, но его надо знать и указывать заранее. Приличные ресурсы, включая Arch Linux Downloads, давая ссылку на скачивание, указывают алгоритм и контрольную сумму всего файла, но чтоб частей... Это какой сервис так умеет?

Aivar

# 4 года, 6 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

Кстати говоря, aria2 может проверять хеш скачанного файла, но его надо знать и указывать заранее.
Приличные ресурсы, включая Arch Linux Downloads, давая ссылку на скачивание, указывают алгоритм и контрольную сумму всего файла, но чтоб частей... Это какой сервис так умеет?

vs220	# 4 года, 6 месяцев назад
Темы: 22 Сообщения: 8070 Участник с: 16 августа 2009	Aivar Это какой сервис так умеет? Наверное ТС хочет от ftp возможности bittorrent

grayich	# 4 года, 6 месяцев назад (отредактировано 4 года, 6 месяцев назад)
Темы: 216 Сообщения: 1984 Участник с: 08 января 2009	Aivar, вендовые качалки, например download master, умели и качать в несколько потоков и перекачивать битые части файла, как они это делали хз, но если какой файл битый был, качалка справлялась.

Aivar	# 4 года, 6 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	Допустим есть N подключений к серверу, т.е. вы закачиваете файл в N потоков. Затем одно или несколько подключений обрываются (например, тот же сервер ограничил). aria2 продолжит закачку, в т.ч. докачает недокачанные части. Думается, так умеют все приличные менеджеры закачек. Но чтобы проверять хеш каждого блока (как в bittorrent, коих тысячи) ... это вряд ли. Не знаю такого.

Aivar

# 4 года, 6 месяцев назад

Темы: 4

Сообщения: 6897

Участник с: 17 февраля 2011

Допустим есть N подключений к серверу, т.е. вы закачиваете файл в N потоков. Затем одно или несколько подключений обрываются (например, тот же сервер ограничил). aria2 продолжит закачку, в т.ч. докачает недокачанные части. Думается, так умеют все приличные менеджеры закачек. Но чтобы проверять хеш каждого блока (как в bittorrent, коих тысячи) ... это вряд ли. Не знаю такого.

vs220	# 4 года, 6 месяцев назад (отредактировано 4 года, 6 месяцев назад)
Темы: 22 Сообщения: 8070 Участник с: 16 августа 2009	Aivar Не знаю такого Aria2 -V, –check-integrity[=true\|false] Проверить целостность файла путем подтверждения хэшей блоков или хэша полного файла. Этот параметр влияет лишь на BitTorrent, Metalink или HTTP(S)/FTP загрузки с параметром –checksum. Параметр может обнаружить поврежденные части файла и перезагрузить их. Если есть хэш полного файла, то проверка выполняется только когда файл уже полностью загружен. Момент полной загрузки определяется по размеру файла. Если проверка хэша завершилась неудачно, то файл будет перезагружен с нуля. Если есть хэши блоков и хэш полного файла, то будут использоваться только хэши блоков. Возможные значения: true, false По умолчанию: false Метки: #basic, #metalink, #bittorrent, #file, #checksum grayich вендовые качалки Uget похожая на вендовую качалку( может использовать aria2)

vs220

# 4 года, 6 месяцев назад (отредактировано 4 года, 6 месяцев назад)

Темы: 22

Сообщения: 8070

Участник с: 16 августа 2009

Aivar
Не знаю такого

Aria2

-V, –check-integrity[=true|false] Проверить целостность файла путем
подтверждения хэшей блоков или хэша полного
файла. Этот параметр влияет лишь на BitTorrent,
Metalink или HTTP(S)/FTP загрузки с параметром
–checksum. Параметр может обнаружить
поврежденные части файла и перезагрузить их.
Если есть хэш полного файла, то проверка
выполняется только когда файл уже полностью
загружен. Момент полной загрузки определяется
по размеру файла. Если проверка хэша завершилась
неудачно, то файл будет перезагружен с нуля.
Если есть хэши блоков и хэш полного файла, то будут
использоваться только хэши блоков.

Возможные значения: true, false
По умолчанию: false
Метки: #basic, #metalink, #bittorrent, #file, #checksum

grayich
вендовые качалки

Uget похожая на вендовую качалку( может использовать aria2)

RusWolf	# 4 года, 6 месяцев назад
Темы: 11 Сообщения: 2395 Участник с: 16 июля 2016	uGet, не?

Aivar	# 4 года, 6 месяцев назад
Темы: 4 Сообщения: 6897 Участник с: 17 февраля 2011	vs220, а я о чем? https://archlinux.org.ru/forum/post/202074/ Про хеши блоков - хз, это надо чтоб сервис поддерживал оное. RusWolf uGet ~~Нинада~~ Фронтенд к чему угодно, в т.ч. и к aria2.

redix	# 4 года, 6 месяцев назад
Темы: 34 Сообщения: 3433 Участник с: 11 марта 2013	Посмотрите на hget, простой как двери, из АУР уже давно убрали конечно, но я сохранил готовый пакет в дропбоксе: https://www.dropbox.com/s/d04dv8urdc56qzz/hget-git-r30.03213a9-1-x86_64.pkg.tar.xz?dl=0, там собственно в пакете всего два файла, сам hget и лицензия, в других дистрибутивах просто запихиваю распакованный бинарник в /usr/bin и все работает (проверено в debian и Centos). In Tux We Trust

redix

# 4 года, 6 месяцев назад

Темы: 34

Сообщения: 3433

Участник с: 11 марта 2013

Посмотрите на hget, простой как двери, из АУР уже давно убрали конечно, но я сохранил готовый пакет в дропбоксе: https://www.dropbox.com/s/d04dv8urdc56qzz/hget-git-r30.03213a9-1-x86_64.pkg.tar.xz?dl=0, там собственно в пакете всего два файла, сам hget и лицензия, в других дистрибутивах просто запихиваю распакованный бинарник в /usr/bin и все работает (проверено в debian и Centos).

In Tux We Trust