Копирование большого кол-ва файлов по сети

wilful	# 12 лет, 1 месяц назад
Темы: 23 Сообщения: 312 Участник с: 24 мая 2009	Значит так, потребовалось мне скопировать по сети (обычная локалка, UTP 5, 100M/s) около 200Гб. Причем содержащие как большие (от 2Г) файлы, так и много мелочи. Намучился, честно говоря, копировал след-ми средствами: scp Достаточно удобно, но нет представления об общей продолжительности (буду писать скрипт для интеграции с pv), опятьже долго работает с мелкими файлами (не было возможности предварительно упаковать), копирует в хаотическом порядке %) sshfs+mc Этот случай клинический, сначала МК ооочень долго индексировал, потом начались проблемы с некоторыми файлами, он постоянно выводил ошибку i\o, естественно я бросил это занятие. *nautilus+sftp Ну тут по лучше немного, адекватная обработка уже скопированных файлов (чего я не нашел в scp), но нет интерактивности, я не вижу что в данный момент копируется (это важно), несмотря на то, что я копировал в режиме “если есть - пропусти” полоса прогресса показывала 16 часов, в итоге докопировал за 3 часа… Не стал юзать rsync, т.к. показалось мне не кошерным (возможно зря, он есть практически во всех KISS дистрах). nfs не подходит, из-за необходимости обпиливания сервера, открытия доступа и т.п. Вот собственно и вопрос, какие средства существуют, кто чем пользуется, нет ли желания у программистов заняться разработкой хорошего средства копирования (oldman привет!) с эксклудами, списком файлов, прогресбаром, блэкджеком, девушками и на ncurse =)

# 12 лет, 1 месяц назад

Сообщения: 312

Участник с: 24 мая 2009

Значит так, потребовалось мне скопировать по сети (обычная локалка, UTP 5, 100M/s) около 200Гб. Причем содержащие как большие (от 2Г) файлы, так и много мелочи. Намучился, честно говоря, копировал след-ми средствами:
*scp
Достаточно удобно, но нет представления об общей продолжительности (буду писать скрипт для интеграции с pv), опятьже долго работает с мелкими файлами (не было возможности предварительно упаковать), копирует в хаотическом порядке %)
*sshfs+mc
Этот случай клинический, сначала МК ооочень долго индексировал, потом начались проблемы с некоторыми файлами, он постоянно выводил ошибку i\o, естественно я бросил это занятие.
*nautilus+sftp
Ну тут по лучше немного, адекватная обработка уже скопированных файлов (чего я не нашел в scp), но нет интерактивности, я не вижу что в данный момент копируется (это важно), несмотря на то, что я копировал в режиме “если есть - пропусти” полоса прогресса показывала 16 часов, в итоге докопировал за 3 часа…
Не стал юзать rsync, т.к. показалось мне не кошерным (возможно зря, он есть практически во всех KISS дистрах). nfs не подходит, из-за необходимости обпиливания сервера, открытия доступа и т.п.

Вот собственно и вопрос, какие средства существуют, кто чем пользуется, нет ли желания у программистов заняться разработкой хорошего средства копирования (oldman привет!) с эксклудами, списком файлов, прогресбаром, блэкджеком, девушками и на ncurse =)

Nebulosa	# 12 лет, 1 месяц назад
Темы: 10 Сообщения: 831 Участник с: 05 марта 2009	Netcat же! http://mydebianblog.blogspot.com/2008/07/netcat.html http://www.g-loaded.eu/2006/11/06/netca … -examples/ http://mydebianblog.blogspot.com/2008/0 … 0486071426 - готовый ответ.

usaga	# 12 лет назад
Темы: 1 Сообщения: 5 Участник с: 14 апреля 2010	Если подобные перебросы файлов происходят не часто, то нет никакого смысла что-то писать

wilful	# 12 лет назад
Темы: 23 Сообщения: 312 Участник с: 24 мая 2009	Да задача тривиальная - перекинуть овер 60Г с одной машины на другую, содержимое может быть очень дискретным (от файлов проектов сайта до объемных ВМ). Пока делаю tar'ы-бары, ексклуды, rsync'и и выбрасывание файлов с общей диры. Я думаю можно было бы это все в одной совтине способной выбирать и сжимать. ЗЫ: nc полезен только в последней стадии, уже непосредственно при передаче, но все равно спасибо!

wilful

# 12 лет назад

Темы: 23

Сообщения: 312

Участник с: 24 мая 2009

Да задача тривиальная - перекинуть овер 60Г с одной машины на другую, содержимое может быть очень дискретным (от файлов проектов сайта до объемных ВМ). Пока делаю tar'ы-бары, ексклуды, rsync'и и выбрасывание файлов с общей диры. Я думаю можно было бы это все в одной совтине способной выбирать и сжимать.
ЗЫ: nc полезен только в последней стадии, уже непосредственно при передаче, но все равно спасибо!