RAID6 (+1 хотсвап) + скрабинг раз в неделю

Лучшее отношение деньга/байты — за HDD.

>на годы?

Складировать в пачки и забыть на годы — таких гарантий не даст ни один вид, наверно. Но если держать это в живой системе для хранения, с зеркалированием данных и прочей избыточностью, то гарантии можно дать около ста процентов.

>Купить 10 3,5" терабайтных винтов

Есть винты с большим объемом.

>адаптером sata-usb?

Зачем?

>Стримеры?

Что?

>Воспользоваться каким-нибудь облачным сервисом?

Вариант, если доверяешь им данные (дело даже не в приватности, а в качестве сервиса) и устраивает вариант "эти десять терабайт где-то фиг пойми где с каналом в 100 Кб оттуда (пусть бы и больше, вряд ли где-то будет хотя бы fast ethernet скорость)"

>Оптические диски?

Нет-нет-нет-нет-нет-нет-нет.

Лично я бы не стал валить все в кучу. Из этих 10 Тб хорошо если пара сотен гигабайт будут являться по-настоящему ценными для тебя.

>>186629

> хранение десятка терабайт данных на годы

Начать нужно с постановки правильного вопроса. Зачем?

>>186631

>Лучшее отношение деньга/байты — за HDD.

Что ж, спасибо.

>Зачем?

Быстро подключать винты по мере необходимости, не тратясь на системную плату, провода, корпус и бп нужного объёма.

>Что?

Кассеты для хранения данных. По описанию на вики то что надо.

>Лично я бы не стал валить все в кучу. Из этих 10 Тб хорошо если пара сотен гигабайт будут являться по-настоящему ценными для тебя.

>>186638

>зачем

за последнюю неделю не стало четырёх мест, где можно было брать контент по мере необходимости, а возможности купить легально дублированную аниму или старые фильмы зачастую нет в принципе, не продаёт её никто. Так что вижу смысл на будущее сохранять все, что когда-либо смотрел/читал/играл.

>>186641

> Быстро подключать винты по мере необходимости, не тратясь на системную плату, провода, корпус и бп нужного объёма.

Это называется DAS. Бывает от двух до n дисков, умеет в аппаратный RAID. Важное отличие от NAS - не имеет сетевого интерфейса, а имеет USB (в редких случаях extSATA, тандерболт, ватэвер...)

> спойлер

Не сказать, чтобы ты совсем слоупок, но куда дело движется было ясно ещё после закрытия Напстера.

>>186641
Лучшее отношение байты/деньги - у стримеров, но сами приводы стоят безумных денег, имеют небанальный интерфейс подключения (ещё денег) и не сильно распространены на территории великой и могучей.
А ещё они медленные - 1.5ТБ картридж LTO5 будет записываться 3 часа. Так что ты или вынужден сидеть над приводом и менять там кассеты, или снова тратить деньги - на библиотеку.

За привод с кассетами на 15ТБ ты заплатишь $400 + $50 + $20*10 + доставка всего этого из штатов. Итого где-то $800. В принципе, за похожую сумму можно и библиотеку найти, только её доставка будет совсем золотой и ты гарантированно выйдешь за штуку баксов.

3ТБ винты стоят от $90, набрать тот же объём винтами - $450. Соответственно, кассеты по цене сравняются с винтами где-то в районе 37ТБ сырой ёмкости. С твоими вводными даже 2 полных копии на винтах выйдут дешевле.

>>186630

>RAID6 (+1 хотсвап) + скрабинг раз в неделю

Грохнется ФС - замугичкаешься вытаскивать данные.

RAID - это решение для обеспечения доступности, а не для обеспечения сохранности. Сохранность - это инкрементивные бэкапы.

>>186650
ФС дохнут да, но тут уже просто упирается в бабло за железо и электричество на поддержание этого хлама.

Инкрементальные бэкапы для 10Т места это значит, что нужно дисков хотя бы на 30Т примерно. Тут уже просто зависит от того сколько ОП готов выложить за такое хранилище, построить то без проблем. У нас в лабе около 1ПБ места есть к примеру.

>>186651

>An incremental backup is one in which successive copies of the data contain only that portion that has changed since the preceding backup copy was made

>>186653
В таком случае ты можешь получить битрот на твоём диске с бэкапами или ошибку ФС там же. И ты узнаешь об этом уже слишком поздно. Не забывай об этом. Тут спасает только полное резервирование в три копии.

>>186650
Но современные фс все-таки дохнут невероятно редко.
Плюс есть всякие btrfs и zfs, которые с резервированием метаданных.

Вот только я считаю, что жестяки лучше хранить в рабочем состоянии с питанием и возможно даже раскрученным шпинделем, если электричество не жалко. Они тогда имеют меньше шансов испортиться от какой-нибудь гадости вроде неподходящей влажности. Да и заметить, что какой-то сбоит и скоро умрет намного проще.

>>186657

>которые с резервированием метаданных

Разве там не контроль целостности блоков данных основная фишка?

>>186659
Одно другому не мешает.

>>186657
Архив, доступный 24/7 - это файлопомойка со всеми вытекающими. Впрочем, возможно опу именно это и нужно.

>>186657
Достаточно просто zfs и скрабить раз в пару недель.

>>186673

ZFS тоже может грохнуться.

Если ЖД заявляет Uncorrectable Errors, ZFS не спасёт.

>>186673

Цитирую Википедию, извините.

>When a block is accessed, regardless of whether it is data or meta-data, its checksum is calculated and compared with the stored checksum value of what it "should" be. If the checksums match, the data are passed up the programming stack to the process that asked for it; if the values do not match, then ZFS can heal the data if the storage pool provides data redundancy (such as with internal mirroring), assuming that the copy of data is undamaged and with matching checksums.

То есть, фиг тебе, а не теневое восстановление, если ZFS не настроена для хранения двух и более экземпляров данных.

Как дополнение для RAID - да, пожалуйста (я, кстати, так и не понял, как обеспечивается коррекция ошибок в RAID1 из двух дисков).

О чем вы спорите? У ОП-а классический "холодный" архив. Там не важно, какая ФС. Выключенные винчестеры не ломаются и ошибки ФС на них не появляются. Единственный сценарий потери - физическое уничтожение винчестеров. Отсюда и способ предотвращения - географически разнесенные хранилища с полными дубликатами информации.

>>186680
У ZFS, как и у btrfs, изначально включена двойная репликация метаданных. Если Uncorrectable Error или ошибка контрольной суммы в метаданных, то оно просто прочитает из второй реплики этот кусок метаданных. Если же Uncorrectable Error или bit-rot/silent corruption в данных, то оно поймает его по контрольной сумме, но скорректировать естественно не сможет.
Также есть возможность настроить дупликацию данных и увеличить количество реплик метаданных.
Если же там столько ошибок, что повреждены все реплики метаданных, то увы и ах ZFS тут действительно ничем не поможет, если не было настроено разнесение данных по физическим дискам.

>>186683
Ну, как бы никакая файловая система не может родить данные из пустоты. Если данные повреждены и не настроены те или иные средства резервирования, то ничего файловая система с этим не сделает. Да и у ZFS некоторые RAID-функции встроены в файловую систему. То есть блоки дуплицируются между дисками на уровне файловой системы, а не на уровне сырых блоков.

>как обеспечивается коррекция ошибок в RAID1 из двух дисков

В классическом RAID1? Если диск рапортует Uncorrectable Error, то блок читается с другого диска.
Если во время скрабинга найден разный блок, то увы ничего особого RAID сделать не может, кроме как залогировать этот факт. Понять какой из двух правильный не представляется возможным.
В этом плане дупликация между дисками у файловой системы имеет преимущество, если сохраняются контрольные суммы файлов/блоков, так как есть возможность понять который из них правильный.

>>186684

>Выключенные винчестеры не ломаются

Вот только ломаются и не меньше работающих, особенно если хранить не в идеальных условиях.

>>186686
Окей, а что дешевле: держать винты включенными годами 24/7, или чаще сменять? А внеплановое пропадание питания не будет ли само по себе причиной поломки? Несколько винтов WD начали наращивать бэды и опознаваться через раз именно после перебоев с питанием.

>>186697
Проблемы питания решаются УПСом.

>>186697
Лучше иметь отдельный нас для этого, который будет постоянно включен. В обычном компе такие диске будут подыхать от постоянного включения-выключения. Так как активного чтения я так понимаю не будет, то достаточно рейда с одним избыточным диском. У меня вот такое чудо под важные файлики.

>>186698
Back-ups ES 700 высушивает за год свинцовый аккумулятор, и он имея формально ёмкость в норме не держит нагрузку, от поломки винтов так и не спас. После смены двух аккумуляторов и трёх винтов %рядом стройки и кратковременные перебои с питанием бывают часто%% терпение лопнуло, перешёл на ноут.
Дорогой упс может и решил бы проблему, но дешевле ли это?

>>186700

Дело даже не в том, что дешевле, а в том, что любое узкое место может уничтожить данные хотя бы один раз за 10 лет: пожар, скачок напряжения, убивающий все ЖД сразу, нассавший под ПК кот и так далее.

>>186697
Это вопрос надёжности, а не стоимости.
Понятно, что 4 винта будут заметно дешевле, чем 4 винта, сервер и электричество для работы 24/7, только вот в случае с просто винтами тебя при их включении может ждать очень неприятный сюрприз.

>>186700
У меня Smart-UPS 1000 и аккумуляторы по четыре года живут и держит он три машины более сорока минут на двух 17Ah батареях.
Не знаю, что у тебя за странные проблемы с удержанием нагрузки.

С частыми кратковременными просадками лучше брать интерактивник или даже онлайн. Тот же смарт, который у меня, довольно часто сглаживает просадки переключением на повышающую обмотку вместо батарей.

>>186698
Ты бы знал, сколько батареи на него стоят. А там их две.
прислала девочка-эникейщица

>>186751
Знаю, а в чем проблема-то?
Оригинал действительно стоит уж очень сумасшедших денег, но если поставить те же CSB, то сумма выходит вполне адекватная — примерно 4к за две 12Ah или примерно 5к за две 17Ah.
Раз в несколько лет вполне подъемно их поменять.

>>186753

>Знаю, а в чем проблема-то?

Дешевле добавить еще один винт.

>но если поставить те же CSB, то сумма выходит вполне адекватная — примерно 4к за две

Примерно 4к за ОДНУ. Ты видимо до Крыма закупался. У меня летом обе банки в серверной потекли, дешевле оказалось новый купить. На тысячу взяли, правда, но сам факт.

>>186708
Так купить больше винтов, и сменять почаще.
Но интереснее было бы узнать физику процесса, почему винты плохо хранить на полке. И плохо из-за поломок, или потери данных с сохранением работоспособности?

>>186760
Пыль?

>>186760
Не плохо, а монописуально. Не слушай ты этих бак! Холодный архив на то и холодный, что не хранится во включенном состоянии. Если хранить в сухом отапливаемом помещении, ничего с винтами не случится. Включаешь время от времени, проводишь проверку целостности, и хватит.
Сам так делаю. Брат жив, ждет момента, коода отключат интернеты и мы откроем подпольную лавку моэ-слайсиков.

>>186762
Ну, мне кажется, продувая много кубометров воздуха, пыли можно собрать намного больше, чем в плотно закрытой коробке в шкафу.

>>186758
http://price.ru/search/?query=CSB+GP12120
http://price.ru/search/?query=CSB+GP12170

Это все цены после Крыма. До Крыма все это в два раза дешевле было.
Две GP12170 я в декабре 2013 за чуть меньше чем 3к брал.

>>186766
Окей, пусть будут по 3. Видимо я тогда плохо искал. Все равно негуманно.

>>186767
Я летом '14 брал CSB GP12170 по 1300р.

>>186760
Винт хранит данные на диске как намагниченность некоторых мест. Постоянные магниты со временем теряют свою намагниченность, что может привести к потере данных.

Кроме этого есть космические лучи и прочие высокоэнергетические частицы, которые могут оказывать влияние на диск.

Третий фактор — диск может просто тупо заржаветь, а контакты окислиться.

>>186795
Окей, но почему работающий диск более устойчив к перечисленным факторам? Ржавение контактов от этого точно слабее не станет, данные сами по себе тоже не регенерируются без явной перезаписи.

>>186816
На рабочем диске можно регулярно проводить скрабинг, который будет ловить проблемы и перезаписывать данные из того или иного резерва.
И все эти проблемы обычно проявляют себя раньше, чем станет слишком поздно.

>>186836
То, что ты описываешь из стабильных, подходящих для продакшена ФС умеет только zfs, и только тогда, когда vdev находится на зеркале или z1/z2/z3. Все остальные при ремапе потеряют данные.

Впрочем, вариант с постоянно рабочим архивом мне более по душе, т.к. позволяет выявить проблему в момент её появления.

>>186863
У меня RAID5 на mdadm вполне себе скрабится по крону раз в две недели. На уровне фс оно, конечно, могло быть эффективнее, но и на уровне блочного девайса сойдет.
Если бы еще фс была btrfs, а не ext4, то еще и на ее уровне бы проверялись хэши.

>>186865
У меня для тебя плохие новости. Проверка mdadm считает количество несовпадений чётности, восстановление mdadm перезаписывает чётность из блоков с данными. Всё, никакой магии с хэшами и чексуммами - их там просто нет. Даже в случае с raid6, где у нас бывает достаточно данных чтобы понять какой именно блок некорректный, восстановление приходится делать чуть ли не руками через не поставляющийся по умолчанию raid6check.

>>186875

>Проверка mdadm считает количество несовпадений чётности, восстановление mdadm перезаписывает чётность из блоков с данными.

И mdadm даже не учитывает Uncorrectable Error, который выдаёт контроллер?

>>186876
Нет. Тем более, что чтение и последующий ремап/unc могут быть вызваны ядром и контроллером винта (readahead и то, что прочиталось вместе с запрошенным блоком) - в этом случае mdadm и не узнает про ремап.

>>186887
Ты бредишь. Если контроллер рапортует UNC, то ядро возвращает ошибку в mdadm, который в свою очередь восстанавливает данные с других дисков в массиве и отправляет запрос на перезапись сбойного сектора диску. Дальше уже все зависит от прошивки диска. Некоторые перезаписывают сектор без ремапа и выполняют ремап только если перезапись/верификация проваливается, другие сразу же помещают сектор в очередь на ремап при ошибке чтения с блина.
В любом случае silent corruption, то есть возврат тех данных, которых на диске не было вместо ошибки чтения, на современных дисках не должен случатся, для этого применяют всякие контрольные суммы и небольшую избыточность на уровне непосредственно блинов.

Да и ремап в любом случае всегда выполняется в процессе записи, а не чтения.

>>186888
Да, был не прав.
Но один фиг mismatch оно чинить не умеет.

>>186889
Ну, mismatch может в обычном случае образоваться только как результат silent corruption в диске, памяти или где-то еще.
И да, тут ничего особо и не починишь. У mdadm нет информации, чтобы понять в результате чего это произошло и какие данные правильные.
В этом случае и нужна хотя бы файловая система с контрольными суммами блоков, чтобы эта ошибка привело к обнаружению и логированию повреждения на уровне файловой системы.

>>186888

> Если контроллер рапортует UNC, то ядро возвращает ошибку в mdadm, который в свою очередь

...просто выкидывает такой диск из массива.

>>186929

Надеюсь на то, что это неправда, потому что это крайне недальновидно в массивах RAID5 и RAID1 из больших дисков.

>>186930
Правда, если это случилось во время записи.

>If the md driver detects a write error on a device in a RAID1, RAID4, RAID5, RAID6, or RAID10 array, it immediately disables that device (marking it as faulty) and continues operation on the remaining devices.

>>186929
При ошибке чтения обычно не выкидывает. Только если их в короткий промежуток (подряд?) случилось больше, чем /sys/block/mdХ/md/max_read_errors. Дефолтное 20, кажется.
А вот при ошибке записи и чтения после записи как результата реакции на ошибку чтения этого конкретного сектора, то диск действительно выкидывает из массива, так как это признак того, что диск не работает нормально в рамках алгоритмов ремапа и самовосстановления.
То есть если это просто потеря намагниченности или небольшой сбой чтения, неуверенный сектор и все такое, что не редкость для современных больших дисков, то сектор будет восстановлен с других дисков и перезаписан на проблемном. А вот если это ошибка записи, которая не должна случатся, так как должна обрабатываться электроникой диска как ремап, или если это ошибка не проходит после перезаписи непрочитавшегося сектора, то диск логично считается опасным для массива и выбрасывается.

Почитал я вас, сложно это все. Есть ли какое-то юзер-френдли решение для такого хранилища? Ну я вижу это примерно так: ящик со сменными дисками, подключаемый к пеке по usb и распознаваемый как флешка, куда можно закинуть данные. Чтобы ломающиеся или склерозные диски не мешали, эта коробка пишет данные на 3+ диска, и раз в месяц включается, и сверяет содержимое всех дисков, при не совпадении чего-либо на одном выдавать предупреждение и корректировать ошибку, при невозможности - орать о необходимости замены диска.
То есть, в идеале это просто коробка с питанием 220в, усб-портом, и слотами под винты со светодиодами, показывающими что пора заменять.

Может, я изобретаю велосипед, и такое уже кто-то сделал?

>>187345
Сделал, конечно. NAS это называется.
Например, QNAP TS-653A, или Synology DS1515+, или еще что-то подобное. Внутри это просто писюк с линуксом и в меру красивенькой веб-мордой. Тоже самое можно сделать на самосборе и каком-нибудь FreeNAS, UnRAID, Rockstor или еще куче подобных решений. Там же можно будет настроить и уведомления по почте со всеми прочими вещами.
Если хочется, чтобы была удобная замена и все такое, то есть корпуса вроде Chenbro SR301 или Chenbro SR112.

>>187345
За твои деньги - любой каприз
http://www.newegg.com/Product/Product.aspx?item=N82E16816102381

>>186930
RAID5 из больших дисков это вообще ужасающе глупая идея.

>>187346
NAS — это тоже хорошо, но эта Чии, кажется, хочет всё-таки DAS. Что-то вроде такого
>>187347, ага. Например, вот здесь во вводной рассказывается, что это вообще такое: http://www.ixbt.com/storage/das-cfi-b8253jdgg.shtml

И кстати, был же где-то тред с обсуждением этих самых DAS вроде бы? Я это помню, потому что там были мои бака-вопросы про них. Только видимо, уплыл уже.

Взял два диска WD30EFRX. Всё правильно?

>>187406
Ну ты даешь, блин. Это пипец-серия, знаешь ли.
Отчет backblaze не читал, что ли?
https://www.backblaze.com/blog/hard-drive-failure-rates-q3-2016/

>>187406

>не Toshiba
>Всё правильно?

Попробуй сам ответить на свой вопрос.

>>187408
Ты хотел сказать

>не hitachi

?

>>187409
Но мы же о десктопах. А мощности, занятые выпуском 3.5 дисков, после поглощения Hitachi WеDром отошли к Toshiba.

>>187407
Хм, думал там только Seagate хают. У самого в другом месте WD Red на 2 ТБ исправно отработали уже 22000-23000 часов.
В любом случае счёт уже на оплате.

>>187411
Там, во-первых, не хают, а дают статистику, которая, во-вторых, показывает, что среди серий одного производителя есть как хорошие серии, так и не очень.
Ты же умудрился купить один из самых херовых дисков - WD30EFRX с 6.1% годовых отказов, хуже только WD20EFRX.

>>187412
Ладно, три года гарантии у меня всё равно никто не отнимет. А за данные я не волнуюсь: будет RAID1 и копия самого важного на второй NAS.

>хуже только WD20EFRX

Лотерейка. Выше уже писал, что эти диски прекрасно работают у меня уже третий год с чистейшим SMART.

>>187414
А у меня этот самый 2Тб сдох через пол года.

>>187415
Мне наоборот WD стали нравиться с появления этой серии.

>>187416
А я наоборот на HGST пересел.

>>187417
Тот же вд.

>>187418
Те, что идут под HGST - разработка и производство подразделения, которое они купили у hitachi.

>>186629

Все сразу. На барахолках продают пачки болванок dvd по ценообразовательному принципу ,,не нужны".

Используй оптику для 200-300 гигов ололосовсем нужных вещей и для всей коллекции купи с барахолки винты и сделай из них raid0 (два идентичных зеркала). А если серьезно, купи 5 винтов по 2ТБ+ и держи их отдельно от ,,системного диска" для винды. Советую достать тяжелый корпус из нулевых годов, в который влезет сразу 6 или больше винчестеров, который еще ATX Tower.

Стример - корпоративная хрень для огромных учреждений, где счет на сотни тб.

>>187434

>raid0

тьфу, тьфу, тьфу, как раз raid1 имел в виду

Хм, а что гойспода думают о внешних хардах? Для холодного архива.

>>187874
Если будут храниться в подходящих условиях — хоть на тыщу лет.

>>187874
Пользуюсь, полёт нормальный. Советую включать изредка харды, погреть, дать механике поработать немного.

HDD-тред?
Может ли окисление этой контактной площадки повлиять на рост ошибок UDMA_CRC_Error_Count у диска WD?

>>188325

Да.

>>188328

>Серебряные контакты мало окисляются, а окись серебра хорошо проводит ток. Поэтому надежный контакт обеспечивается даже при небольшом контактном давлении.

Но ведь производители не дураки?

>>188325

Стоп! Я невнимательно прочитал. Нет, эта площадка на UDMA errors не влияет, UDMA - это обмен между платой диска и контроллером.

Не влияет.

>>188333

Что ты цитируешь?

>>188325
Кстати, а какого черта? Разбирал несколько винтов, и у всех площадка смотрелась закисленной. Неужели золота на них настолько жалко?

>>188341

Ишь чего умельцы по этой >>188325 теме вытворяют.
https://geektimes.ru/post/258160/

А прокладка между чипом и корпусом у них действительно в пластике с двух сторон. Очень странное решение, надо тоже поменять у себя.

>>188333

>Но ведь производители не дураки?

Конечно, не дураки. Именно поэтому они в любой непонятной ситуации занимаются удешевлением.

>>188344

А это точно имеет отношение к ЖД?

>>188396
Это физика десу.

>>188401
>>188345

>>188410
Но в статье только гипотезы и русская смекалка.

>>188418

А ещё в статье есть фотки медных окислившихся контактов.

>>188419
Там припой/напыление из серебра, а судя по >>188344 оксиды серебра не могут повлиять на качество контакта.

>>188424

>напыление из серебра,

Если честно, я не вер в то, что окислившееся серебряное напыление имеет такой цвет. Посмотрел снова - я и не уверен в том, что они медные. Посмотри: кольца вокруг крепёжных отверстий такого же цвета. Это же не серебро, верно? Крепёж-то серебрить не надо.

>>188425

>Крепёж-то серебрить не надо

Лудят плату однозначно сразу всю, а не выборочные места, так что покрытие медных дорожек там будет везде одно. Осталось разобраться, какой припой конкретно используется.

>>188430

Ты хочешь сказать, что если контактные площадки серебрёные, то они серебрёные припоем? Извиняюсь, если вопрос тупой.

Кто там интернет скачать хотел?

The 14TB HGST Ultrastar HE12 will be shipping a little later on this year and will also feature eight platters, speeds of 7200 RPM and SAS/SATA variants. Both the 12TB and 14TB drive feature 256MB of cache and an 8ms seek time for reads and an 8.6ms seek time for writes.

>>188537
Стоимостью как Шаттл, наверно.

Бамп вопросом.
Надо оффлайн-браузер, суть такова:

• Чтобы качал только контент одного сайта, без перехода на рекламопомойки
• Чтобы качал с глубиной 3, причём на третьей степени глубины качал только картинки.

>>187406
С учётом того, что они на чёрный день, на отдельный пека или бережное хранение в коробочке - okay tier decision.

>>187407
Джва процента отказов? Отличная серия, ты о чём?

>>195501

>Чтобы качал только контент одного сайта, без перехода на рекламопомойки

У Вгета есть аргумент для этого - только один домен.

>Чтобы качал с глубиной 3, причём на третьей степени глубины качал только картинки.

Могу написать тебе скрипт для Вгета (но не хочу писать для CMD, хочу для баша).

>>188424
Я сам лично почистил контакты на ЖД с числом пендингов FFFFFF или около того. Через некоторое время проверил снова - их стало ноль. Я не считаю, что контакты были серебрёные.
>>188433
Имелось ввиду не покрытие припоем, а покрытие серебром. Лужения - это действие именно с припоем? Врядли.