[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]

Файл: chrysler_1971-interceptor_f34_fe_315132_(...).jpg -(61 KB, 600x400, chrysler_1971-interceptor_f34_fe_315132_(...).jpg)
61 No.177597  

Чии, хочу пожаловаться.

Решил я использовать RAID-5 на ICH-9R - Интел инсайд, должно работать. За этим решением последовала череда интересных событий.

1) Интеловский драйвер отказался дополнять созданный RAID-0 до RAID-5 из-за того, что третий ЖД был на пару мегабайт меньше - я создал разделы с запасом в гигабайт, не дурак же, но не создал массив с запасом, это оказалось непреодолимым препятствием (об mdadm я ещё не знал).
2) Один раз система оказалась подвешена из-за отсоединённого во время работы ЖД. Какой ещё плугэндплэй и хотреплейсмент? Фиг вам. После этого контроллер ребилдил массив, хотя данные были на месте.
3) Ещё контроллер ребилдил массив просто из-за того, что ему захотелось - никаких форсмажоров не было. Заметил по тормозам в играх.
4) Ребилд сопровождается дикими тормозами того, что работает на массиве, но использовать верифай или уменьшать приоритет проверки драйверы не хотят.
5) Скорость потоковой записи - 10 мегабайт/с. Сначала я думал, что инженеры Интел облажались, а оказалось оно проще: Интеловский RAID в материнках работает так же, как софтовый RAID, а чётность проверяет с помощью ЦП после того, как загрузится драйвер в ОС. Нигде никогда об этом не слышал.
6) После установки mdadm в Debian 6 массив исчез из бивиса, mdadm --examine показывал какой-то бред до тех пор, пока я не починил массив с помощью того же mdadm (--assemble).
7) После того, как я починил массив, компьютер каждый раз просыпается с Offline-member (сначала Offline были все, потом - только 2/3, а появившийся массив был failed), для исправления этой фигни достаточно загрузиться в дебиан и испольнить mdadm --assemble и mdadm -I. Если компьютер уходит в ждущий режим (S3), оказия повторяется один в один. После смены бивиса материнки что-то поменялось, вроде.

Короче, мне этот ICH RAID осточертел.

Хочу купить LSI Megaraid SATA-150, чтобы не докупать кабели, которые нельзя купить по бросовой цене в РФ, только в Китае. Всё правильно делаю? Гугл говорит, что PCI-X втыкается в PCI и работает, часть гребёнки слота висит в воздухе. Любая скорость чтения/записи больше 100 МБ/с устроит меня. Карточка древняя, но даже она лучше, чем ICH RAID. Есть аналоги по бросовым ценам.

Тесты, например: http://tweakers.net/reviews/557/18/comparison-of-nine-serial-ata-raid-5-adapters-atto-strs-and-cache-transfer-rates.html

Есть ещё модели, которые я могу найти по дешёвке? RAID-5 обязателен.

Пикрандом.

>> No.177610  

>>177597
Но зачем это всё, если у тебя линупс? Используй божественный Software-RAID без привязки к железу, которого годного не за сотни денег нет.

>> No.177613  

>>177597

>PCI-X втыкается в PCI и работает

Это подтверждаю.

>> No.177626  

>>177610

У меня кроме линупса есть мастдай, а линупсрвый raid5 зависит от процессора, особливо в том случае, когда chunk мал.

>> No.177627  

>>177626

>зависит от процессора

Пол процента CPU зажал?

>Windows

О ну ок.

>> No.177632  

А что не так с софтовым RAID5 в Windows?

>> No.177635  

>>177627

>Пол процента CPU зажал?

Наркоман, проходи мимо.

>>177632

Он зависит от процессора.

>> No.177637  

>>177635

>Наркоман, проходи мимо.

Я не мерил, но там правда хоть сколько-то ощутимые цифры? Тем более речь о какой-то домашней файлопомойке.

>> No.177638  

>>177637

RAID-5 от 0, 1, 10 не отличаешь принципиально?

>> No.177639  

>>177638
Ок, накладных там действительно много. Видел только заметные тормоза на массиве при одном дохлом диске.

>> No.177640  

>>177639

Честно говоря производительность деградировавшего RAID-5 не должен отличаться от производительности целого RAID-5, если контроллер/драйвер не игнорирует проверку чётности во время нормального чтения.

Во время ребилда - да, сильно тормозит.

>> No.177643  

>>177640

>не должна
>> No.177644  
Файл: [HorribleSubs] Soukyuu no Fafner Dead Ag(...).jpg -(191 KB, 1920x1080, [HorribleSubs] Soukyuu no Fafner Dead Ag(...).jpg)
191

>>177597
Ловите наркомана.
Интел не умел и не умеет в чипсетный рейд. Windows в свою очередь не умела и не умеет в софтрейды уровнем выше 1 (да и там с оговорками).
А теперь ты хочешь купить б/у динозавра (видимо, чтобы замучиться искать замену когда он сдохнет) и воткнуть его в обычный PCI, у которого реальная скорость на всю шину как раз около 100МБ/с?

Купи на барахолке десятилетний комп за те же 50 баксов, поставь туда чуть более актуальную версию линукса, собери там софтрейд на mdadm и подними nfs или самбу. Будут тебе те же 100МБ/с по гигабитной сети.

>> No.177645  

>>177644

>у которого реальная скорость на всю шину как раз около 100МБ/с?

500 МБ/с для PCI2.0.

>Купи на барахолке десятилетний комп за те же 50 баксов, поставь туда чуть более актуальную версию линукса, собери там софтрейд на mdadm и подними nfs или самбу. Будут тебе те же 100МБ/с по гигабитной сети.

Ты, наверное, в Америке живёшь, а я, вот, в России, и 50 баксов - это 4000 рублей. Да, я могу собрать комп на Сокете 754 или 478 за эти деньги, я даже смогу найти мамку с четырьмя разъёмами SATA.

А ещё я могу купить контроллер за 1000-1500 рублей, уже с разъёмом PCIExpress - он не будет занимать лишнее место, он не будет безмерно кушать электричество, он не будет шуметь (в копеечной комплектухе, из которой можно собрать комп за 4000 придётся менять вентиляторы или вставлять резисторы).

Олсо: http://www.overclockers.com/forums/showthread.php/687862-Is-my-CPU-holding-back-my-mdadm-raid-speed . Не забывай, что с дефолтным chunk у меня будет херовая запись вразброс.

>> No.177646  

>>177645

>500 МБ/с для PCI2.0.

Пытаюсь найти подтверждение, не нахожу. Да, 100 МБ/с ближе к правде.

И даже в таком случае мне больше нравится карточка, чем шумящий комп.

>> No.177647  

>>177645
Ты на свой тест посмотри. Твой контроллер даёт 120МБ/с последовательного чтения, столько же последовательной записи и около 250 IOPS на четырёх 10к RPM дисках.
За полторы тысячи ты купишь себе именно такой музейный экспонат. И не дай бог он сдохнет, потому что искать ему точно такую же замену будет долго, сложно и вполне возможно что дорого.

Аппаратный рейд должен быть с нормальным процессором, жирным кэшем и батарейкой. Это тебе совершенно точно не по карману. А entry level говно мамонта разной степени выдержки что за полторы, что за три, что за шесть тысяч рублей будет проигрывать софтрейду и по скорости и по надёжности.

За 3000р в любом достаточно крупном городе можно купить офисную машину с ЦП вроде E4500 и парой гигов памяти. Это железо даст тебе в зависимости от настроек и винтов до 400МБ/с последовательного доступа и до 350 iops, и всё равно упрётся в скорость и количество винтов. А если оно вдруг сломается, то ты сможешь подхватить массив на любой машине с mdadm.

Ну или ставь на свой комп гипервизор и запускай в одной виртуалке линуксы с mdadm, а в другой - венду, раз уж она тебе так нужна. Или, если очень хочется извращений, пробрось винты в virtualbox и собирай массив там, после чего его можно будет отдать через виртуальную сеть.

>> No.177649  

ОПу раздел NTFS с игорями нужно запихать на raid и сделать видимым из Windows и линупс?

>> No.177660  

>>177649

ОПу нужен RAID, работающий и мастдае, и в линуксе и не создающий всех перечисленных проблем.

>> No.177662  

>>177660
Оп хочет этот массив за копейки или даром. Так не бывает.

>> No.177663  

>>177662

ОП уже выяснил, что таки бывает, даже с рухнувшим рублём.

>> No.177664  

>>177663
Тогда зачем ОП задаёт глупые вопросы? Пусть покупает и рассказывает потом прохладную историю успеха.

Что ты покупать собрался?

>> No.177665  

>>177664

ОП нашёл счастье лишь вчера, и оно не лежало на поверхности.

Куплю обязательно. Собрался покупать SmartArray P400, даже нашёл информацию о совместимости с моей мамкой.

>> No.177666  

>>177665
Про батарейку не забудь, без неё какой-то кэш работать не будет.

>> No.177667  

>>177666

Будет, просто данные потеряю в случае отключения питания.

Но у меня УПС.

>> No.177668  

>>177667
Хорошо, если всё проверил. С SmartArray был такой затык, модель уже не помню.

>> No.177675  

>>177668

E200, видел такой, у него RAID5 не работает без батарейного кэша.

>> No.177773  

Это тред о программных и аппаратных рейдах? Как перенести два физических диска с LVM PV, объединённых в одну группу томов (VG), на другую систему, чтобы ничего не сломалось и не потерялось?

За сколько можно приобрести новое и максимально дешёвое нечто с портами IDE и SATA, на которое можно поставить линукс?

(Осторожно, вещества!) Существует ли способ организации файлохранилища, сравнимый по гибкости с LVM, а по надёжности с RAID5 или 6 (при условии наличия необходимого количества дисков)? И чтобы в него можно было последовательно добавлять новые диски, не теряя уже имеющихся данных.
То есть, есть у нас, допустим, LVM VG, составленная из двух мелких дисков. Тех самых, из первого вопроса. Затем мы добавляем к этой VG ещё один физический диск достаточно большого объёма, и расширяем имеющиеся логические тома (LV) до размеров получившегося массива. Пока что ничего необычного, так? А затем мы добавляем ещё два больших диска, убираем два мелких и лёгким движением руки превращаем получившуюся VG в нечто вроде RAID5, только на основе LVM. А потом добавляем ещё один или два такого же объёма и делаем RAID6. Есть ли способ сделать что-то подобное? Ключевой момент — возможность добавлять диски по очереди без потери имеющихся данных.
Нет, ну можно и обычным LVM попробовать обойтись, конечно. Но терять все данные в случае внезапной и преждевременной смерти одного из дисков всё равно будет неприятно, пусть даже это и будут всякие раздачи и прочие доступные в сети вещи.

>> No.177776  
Файл: raid-replication-and-you-15-638.jpg -(48 KB, 638x479, raid-replication-and-you-15-638.jpg)
48

Кстати, Чии, время btrfs ещё не пришло? Ведь там всё это заложено, да ещё и с обязательной проверкой всех данных.

>> No.177791  

>>177597

>Решил я использовать RAID-5 на ICH-9R

Оче плохая идея, сгорить мать - прощай инфо.

>> No.177792  

>>177773
В lvm есть какой-то функционал raid, если ты про это. Ну и mdadm тоже умеет менять диски, хоть и через определённую задницу.
https://raid.wiki.kernel.org/index.php/Growing

>>177791
Метадата у ICHxR хранится на винтах, массив можно запустить на любой материнке с поддержкой интелового рейда. Будет работать как родной (а то и лучше, если интел сможет в RAID наконец).

>> No.177797  

>>177773
gluster
Производительность так себе, но все это умеет.
>>177776
Год назад стабильно ловил kernel panic при попытке заменить вылетевший винт.

>> No.177802  

>>177792

> В lvm есть какой-то функционал raid, если ты про это.

А где об этом подробнее почитать можно? В той же арчвики в статье про LVM вроде бы ничего про это нет.
И кстати, натянуть уже имеющуюся LVM VG поверх RAID — в целом тоже интересный вариант. Но это только если будет, на что натягивать, то есть, только половина задачи выполняется. С помощью mdadm ведь не получится на лету менять уровень рейда с добавлением новых дисков? RAID0 → RAID5 → RAID6?

>>177797

> gluster

Так он же вообще поверх уже имеющейся ФС поднимается, то есть работает уровнем выше, разве нет? Разве с его помощью можно сделать нечто вроде RAID5(6)? Ну, то есть, один (или не один) физический диск выходит из строя, а мы как ни в чём не бывало меняем его на новый, и все данные при этом остаются на месте. Как вообще будет выглядеть использование GlusterFS в пределах одного хоста, кстати?

Про первые два вопроса есть какие-нибудь идеи?

>> No.177804  

>>177802
Боюсь, нигде - штука достаточно новая, и судя по отзывам не сильно готовая в продакшн.
Многие так и делают - внизу mdadm, поверх lvm, а дальше ФС. Ну и mdadm прекрасно умеет добавлять диски (и изменять уровень массива) без потери данных, линк на вики выше - именно про это.
Лично я не вижу смысла в lvm поверх md - лишняя прослойка. Но кому-то может быть и удобно.

Gluster тебе не нужен - это распределённая штука для кластеров.

>Как перенести два физических диска с LVM PV, объединённых в одну группу томов (VG), на другую систему, чтобы ничего не сломалось и не потерялось?

google://lvm+move+lv+to+different+pv

>За сколько можно приобрести новое и максимально дешёвое нечто с портами IDE и SATA, на которое можно поставить линукс?

Можно и бесплатно найти, а так - офисную помойку у барыг в дс можно купить за 1-2к.

>> No.177807  

>>177802

> Так он же вообще поверх уже имеющейся ФС поднимается, то есть работает уровнем выше, разве нет?

Да.

> Разве с его помощью можно сделать нечто вроде RAID5(6)?

Аналог 10ки точно умеет, на счет 5-6 нужно копать документацию.

> Как вообще будет выглядеть использование GlusterFS в пределах одного хоста, кстати?

Так же как и нескольких, просто все брики на одном хосте.

>> No.177830  
Файл: brazeer.gif -(1 KB, 82x17, brazeer.gif)
1

>>177804

> Ну и mdadm прекрасно умеет добавлять диски (и изменять уровень массива) без потери данных, линк на вики выше - именно про это.

О, а вот это интересно. Но там ведь говорилось только о том, как добавлять и удалять диски из массива, а уровень рейда не менялся?
А смысл LVM поверх md (и не только) хотя бы в том, что вместе с ним можно удобно перекидывать VG с одного диска на другой, не трогая расположенную на ней ФС, которая в это время будет оставаться как бы на одном и том же месте. А вдруг я на время от рейда захочу избавиться, например? Чтобы избавиться от рейда, нужно сначала завести рейд, а у нас дисков нет. Не обращайте внимания.

> Gluster тебе не нужен - это распределённая штука для кластеров.

Ну вот и я о том же. Хотя у меня были мысли использовать её в домашних условиях, сделав кластер из кофеварочных жёстких дисков, но это уже совсем вещества.

> lvm+move+lv+to+different+pv

Нет, мне как раз не это нужно. У меня есть два жёстких диска (на которых те самые PV) и почти мёртвая система, из которой я хочу их забрать домой и воткнуть в другую. Подхватится ли на новом месте (в другом дистре) составленный из них VG без дополнительных телодвижений? Не сломается ли при этом что-нибудь? Корневая ФС этой ОС расположена на одном из этих же дисков, только вне LVM, на обычном разделе, но загружаться я буду не в неё.

> офисную помойку у барыг в дс можно купить за 1-2к.

А если не в ДС, не у барыг и вообще не с рук? (Капча намекает о том, почему именно не стоит покупать с рук.) Ebay или что-нибудь в этом духе принимается, но без особой надежды на успех именно в этом направлении.

>>177807

> Аналог 10ки точно умеет, на счет 5-6 нужно копать документацию.

Ну, тогда не так интересно. Место на дисках не резиновое, чтобы из них делать аналог RAID10.

>> No.177831  

>>177830

>Подхватится ли на новом месте (в другом дистре) составленный из них VG без дополнительных телодвижений? Не сломается ли при этом что-нибудь?

Подхватится, не должно. Вся нужная информация в любом случае хранится на дисках.

>А если не в ДС, не у барыг и вообще не с рук?

Можно и на ебэе найти, но доставка наверняка будет стоить дороже системника. И ещё не факт, что оно доедет в целости и сохранности.
Чем тебя не устраивают барыги и вообще покупка с рук? Это в данный момент самый простой способ купить то что тебе надо за минимальную сумму денег.

>> No.177835  

>>177831
Ну хорошо, буду пробовать. Хотелось лишний раз перестраховаться, а то мало ли.

> Чем тебя не устраивают барыги и вообще покупка с рук?

Вот для кого капча в прошлом посту прикреплялась, спрашивается! Ну не хочу я встречаться с этими барыгами. Не нравятся они мне. Да и где их искать в моих неДСах — тоже не знаю. Хотет brand-new, unopened, undamaged, in original packaging и всё такое.

>> No.178013  

>>177597

8) Скопировал данные на четвёртый ЖД (подыхающий), вынул третий ЖД из массива (он стал degraded), скопировал данные и на него тоже, потом загрузился в Debian и проверял md5 у копируемого раздела, отправил комп в S3, он не проснулся и был сброшен, а БИОС с тех пор не видит массив, Дебиан видит и читает.

P400 уже воткнут, ждёт своего часа.

>> No.178084  

Ну-ка, спецы, скажите мне, все ли реализации RAID5 проверяют чётность во время любого чтения? Или во время чтения выбираются блоки с данными, а чётность проверяется только после явного указания?

>> No.178775  

Так, выявилась проблема с P400 (и HP в частности): в нём точно так же нельзя расширить массив диском, который НЕМНОЖКО меньше, чем другие.

Сейчас придётся мне кучу данных перегонять, снова.

>> No.178860  

Ещё один прикол с P400: RAID1 медленее одного диска.

Мне это не важно, впрочем.

>> No.178888  

Впервые за долгое время почувствовал себя идиотом.

Панелька от HP не даёт мне "мигрировать" ни уровень RAID, ни stripe size, добавить диск к массиву тоже не даёт - можно создать и удалить.

Консольная прога пишет "transformation size zero" в ответ на попытку добавить диск в массив (да, это цитата).

Цитата из отчёта этой проги:

>Stripe Size Migration Supported Informational

штаааааа

>> No.178889  

Обидно будет, если для online-миграции понадобится батарея, которой у меня нет (есть только кэш). Качаю на всякий случай прогу для offline-миграции.

Тупо зделали, вопщем.

>> No.178892  

Строчки из hpacucli.exe:

>STR_MSG_BATTERY_FAILED
><0device> has one or more cache module batteries/capacitors that are failed. Caching operations such as Expansion, Extension, and Migration are temporarily suspended until the batteries/capacitors are replaced. Please consult the user guide to identify and replace the failed components.
>STR_MSG_BATTERY_RECHARGING
><0device> has one or more cache module batteries/capacitors that are recharging. Caching operations such as Expansion, Extension, and Migration are temporarily suspended until the batteries/capacitors are fully charged. Caching operations will automatically resume when charging is complete.

Кина не будет, короч. Создавать RAID-5 я не буду, так как в таком случае у меня все данные окажутся на подыхающем ЖД.

Хоть бы одна соволочь написала, что без батарейки жизни нет. Кэш почему-то включается, а изменение массивов - нифига.

>> No.178893  
Файл: 129540076418.jpg -(201 KB, 3000x2805, 129540076418.jpg)
201

>>177597

> Гугл говорит, что PCI-X втыкается в PCI

>>177613
А как насчет обратной совместимости?
И вот еще, что интересно, можно ли дешево сделать/купить адаптер с pci-x на pci-e(x1/16)&

>> No.178897  

>>178893

>А как насчет обратной совместимости?

В слоте PCI-X достаточно места для PCI.

>И вот еще, что интересно, можно ли дешево сделать/купить адаптер с pci-x на pci-e(x1/16)&

http://www.ebay.com/itm/PCI-Express-PCI-E-To-PCI-Bus-Riser-Card-High-Efficiency-Adapter-Converter-WLSG-/201245526545

>> No.178898  

>>178892

> Хоть бы одна соволочь написала, что без батарейки жизни нет.

А как ты хотел с enterprise железом? У всех вендоров так. Купи батарейку по цене нового контроллера. И флешку, и память, и кабели с корзиной. Каждую позицию всего за $1999.95. И ещё лицензию рекомендуют расширить за $4999.99

>> No.178899  

>>178898

Могли бы в мануале написать.

>> No.178909  

>>178892
Просто купи где-нибудь убитую батарею, да восстанови ее копеечным комплектом аккумуляторов с ибэя: https://youtu.be/Dk-bd3WMd3Q.

>> No.178910  

>>178899

... ведь ошибка в мануале - это деньги (на поддержку, например). Зачем тратить деньги, если можно сделать мануал без ошибок?

>> No.178913  

>>178909

Не знаю, где её взять. В тех местах, где они используются, их списывают и утилизируют.

>> No.178914  

>>178913
У тебя нет интернета и средств электронных платежей?

>> No.178915  

>>178913
Вот в тех местах где утилизируют и спроси у админов.
Хотя можно еще потыкаться в магазины б/у серверного железа.
Ну, в самом крайнем случае можно на том же ибэе заказать.

>> No.178916  

>>178913
На авито, кстати, есть. И даже дешевле ибэя.

>> No.178917  

Хватит тратить деньги на эту идею, ОП!

>> No.178921  

>>178916

Неправда. На московском Авито самая дешёвая стоит 1500. На ебее есть за $10 с бесплатной доставкой, но меня не устраивает такая цена.

>>178915

>Вот в тех местах где утилизируют и спроси у админов.

Знать бы мне хоть одно такое место. Эти контроллеры - для сервров Proliant. Серверы Proliant стоят в каких-нибудь закрытых фирмах, никаких знакомств с админами таких фирм нет (разве что одно, но они не используют Proliant).

>Хотя можно еще потыкаться в магазины б/у серверного железа.

Можно, попробую.

>>178917

Вот и я так подумал! Поэтому вместо того, чтобы покупать батарею за невменяемые деньги, я куплю вторую плату в полном комплекте и с вдвое большим кэшем и перепродам в Москве, но без батареи.

>> No.178922  

>>178921
Еще можешь позвонить по продавцам с авито и поспрашивать нет ли у них неисправных батарей, которые они могут продать дешевле.

>> No.178923  

А мог бы уже сервер собрать из подручных средств и какго-нибудь атома с авито.

>> No.178925  

>>178923

Софтрейд5? А он проверяет чётность во время чтения?

Очень не хочется заводить отдельную коробку и заниматься её настройкой. Хочу иметь гибкость - чтобы всё было в одной коробке.

А мамку с хотя бы четырьмя портами я за сколько куплю?

>> No.178932  

>>178925 можно подумать, аппаратный рейд её проверяет. Такое умеют сплошь софтовые ZFS и BTRFS. По очевидной, кстати, причине - битрот случается очень редко, а проверка чексуммы на лету требует чтения всего страйпа целиком, а это очень плохо влияет на iops.

c: toy намекает на истинное назначение железных контроллеров

>> No.178949  

>>178932

>проверка чексуммы на лету требует чтения всего страйпа целиком

Вруша!

>можно подумать, аппаратный рейд её проверяет

Можно! Я выше спрашивал об этом, вопрос остался без ответа.

>> No.178951  

>>178949

>Вруша!

Есть 2 варианта - хранить чексумму каждого блока и читать её + блок из разных мест на диске, или же не хранить чексумму, а каждый раз считать и проверять чётность (т.е. читать весь страйп).
В любом случае читать приходится больше.

>Можно! Я выше спрашивал об этом, вопрос остался без ответа.

Спрашивали - отвечаем. По описанным выше причинам онлайн-проверкой и коррекцией данных никто не занимается. Ну т.е. наверняка есть пара умеющих это контроллеров, но они настолько дорогие и редкие, что проще считать что их не существует.
Тем более, что есть бесплатные софтовые решения.

>> No.178953  

>>178951

>каждый раз считать и проверять чётность (т.е. читать весь страйп).

Нет, ты не понимаешь. Для проверки чётности не нужно читать страйп. Это чексумма на весь страйп, а чётность - для кажых n-1 битов, а не одна на страйп, и располагается она всегда параллельно.

Страйп - это шаг, после которого меняется положение данных в наборе дисков.

>В любом случае читать приходится больше.

Для проверки чётности нужно считать столько же данных с диска с чётностью, сколько и с любого другого диска.

>> No.178954  

>>178951

Скажу по-другому. Чётность - это функция от n-1 бита, а не от битов всего страйпа.

>> No.178955  

>>178953>>178954
Так данные пишутся параллельно не на уровне бит и даже байт, а на уровне размера страйпов. Четность тоже считается со всех страйпов параллельно. То есть чтобы проверит четность у маленького чтения, которое меньше размера страйпа и которому будет достаточно обращения к одному диску, придется обращаться не к одному диску, а ко всем сразу. Эффекты такого на глобальную производительность массива представляешь?

>> No.178956  

>>178955
Но "сплошь софтовые ZFS и BTRFS" как-то с этим справляются.

>> No.178957  

>>178956
Они пишут контрольную сумму на уровне блоков файловой системы, которые чаще всего меньше тех размеров, которые используются для страйп-юнитов.

>> No.178958  

>>178955

>Так данные пишутся параллельно не на уровне бит и даже байт, а на уровне размера страйпов.

Это мёртвая логика. Скажи ещё мне, что чётность пишется на уровне массива, ведь чётность в страйпах, а страйпы в массиве.

Скажи ещё мне, что чётность пишется на уровне вселенной, ведь чётность в страйпах, страйпы в массиве, массив в ПК, ПК на планете Земля, Земля - во Млечном пути, а Млечный путь - во Вселенной.

_____________

Страйпы - это не метод записи чётности, а метод чередования ролей дисков. Ничто не заставляет контроллер читать страйпами, если только он не тупой.

>> No.178960  

>>178958
Ты хоть понимаешь как работают жесткие диски?
Во-первых, жесткий диск не даст прочитать меньше размера адресуемого виртуального сектора (512 байт), при этом внутри размер физического, то есть считываемого в буфер и адресуемого на пластине сектора, обычно больше, на новых HDD — 4096 байт.
Во-вторых, еще раз представь структуру данных на дисках.
Пусть один страйп-юнит (Chunk Size) равен дефолтным для mdadm 64K, количество дисков — 5, RAID5. В этом случае, чтобы прочитать файл размер которого равен 12K, тебе нужно обратиться только к одному жесткому диску, который считает три физических сектора или 24 виртуальных. В случае же проверки четности для проверки этих 12K нужно обратиться еще к четырем дискам и считать с них, как минимум, абсолютно ненужные сейчас данные и четность находящиеся параллельно к этим 12K. Теперь добавь к этому эффекты от этого на различные механизмы readahead и кэширования, а также параллельные чтения совершенно других данных на других дисках.

>> No.178961  

Ты заставил меня написать огромный ликбез.

>>178960

>Во-первых, жесткий диск не даст прочитать меньше размера адресуемого виртуального сектора (512 байт), при этом внутри размер физического, то есть считываемого в буфер и адресуемого на пластине сектора, обычно больше, на новых HDD — 4096 байт.

Это меня не интересует, потому что если запрашиваемых данных нет в буфере, RAID-контроллер лишь вносит небольшую задержку, которая на порядок меньше скорости отклика ЖД (перенос головок, ожидание поворота диска до нужного места).

>В этом случае, чтобы прочитать файл размер которого равен 12K, тебе нужно обратиться только к одному жесткому диску, который считает три физических сектора или 24 виртуальных.

Контроллер может обратиться хоть к двадцати дискам, ведь он делает это одновременно, ведь он не тупой. Даже маломощные микроконтроллеры умеют выполнять действия асинхронно - с помощью DMA, пишут асинхронно в SPI и многое другое. ARM-процессорам не нужно ждать 100 тактов, пока мат. сопроцессор сосчитает операцию с плавающей точкой - они отправляют операнды в сопроцессор и занимаются полезным делом, пока он считает. Ничто не мешает сделать для однопоточного RAID-контроллера очередь, в которую диски будут спихивать считанные данные асинхронно.

Когда ты запускаешь в Винде чтение с двух дисков сразу (хоть даже огромными блоками), чтение не становится вдвое медленнее.

>Пусть один страйп-юнит (Chunk Size) равен дефолтным для mdadm 64K

Раз речь зашла о Linux:
http://man7.org/linux/man-pages/man7/aio.7.html
http://linux.die.net/man/3/aio_read

Почти для любой системной функции можно сделать асинхронный аналог. Есил устройств, исполняющих функции, больше одного, или команды отдаются независимым устройствам, это в большинстве случаев приводит к увеличению производительности.

>Теперь добавь к этому эффекты от этого на различные механизмы readahead и кэширования,

См. первый абзац.

Если контроллер не тупой, он может выкидывать чётность после проверки для экономии кэша, ведь он сам им заведует.

Кэш в ЖД? На него нельзя полагаться вообще, потому что ЖД могут быть разные. Как используется буффер в ЖД - известно инженерам дисков.

Readahead в ЖД - это один физический сектор. Если диск только успел прочитать один физический сектор, а у него в очереди (sic! асинхронной) уже другая команда, он даже дорожку не дочитает. Любой другой readahead должен быть сделан в контроллере или в ОС. Если контроллеру не нужен readahead, он его не делает, он же не тупой.

Разница между размерами физических секторов приведёт только к тому, что время отклика будет равно самому большому времени отклика всех дисков.

Если ты не проверяешь чётность, время отклика при случайном чтении всё равно будет скакать, так как роли дисков чередуются, и даже если прямо в этот момент не нужно считать данные с медленного ЖД, на нём хранится столько же сырых данных, сколько и на каждом другом ЖД.

Время отклика даже в пределах одного ЖД скачет из-за того, в каком месте ЖД и в каком порядке ты читаешь, намного сильнее, чем время отклика среди дисков (одного года выпуска, например) вообще. Ты в курсе того, что конец диска читается вдвое медленнее, чем начало?

>а также параллельные чтения совершенно других данных на других дисках.

Диски скидывают данные RAID-контроллер асинхронно, потому что на каждую шину у него внутри есть участок процессора, который занимается только ей (у HP P400 их восемь, можно повесить разветвители - тогда диски будут скидывать асинхронно в разветвитель, а он - в эти участки), ширины шины хватает для этого с большим запасом.

Сделать все шины асинхронными - это очень дёшево. В маломощных контроллерах есть куча асинхронной периферии.

nb4 zotrolel

>> No.178962  

P.S.
>>178961

> а у него в очереди (sic! асинхронной)

https://en.wikipedia.org/wiki/Native_Command_Queuing

>> No.178963  

Что за непотребство вы тут устроили?

>>178954
Ну и что? У тебя всё ещё 2 варианта проверить данные с диска на корректность - посчитать их хэш и сравнить с хэшем, который записан где-то ещё, или же прочитать данные со всех остальных дисков, вычислить содержимое нужного тебе блока и сравнить с тем что ты прочитал с диска.

Потому что чётность - это не "1+1=2, 2 чётное - ура", а функция. Вот тебе ссылка с математическим объяснением того как это работает и почему там нужны данные со всех дисков.
https://www.kernel.org/pub/linux/kernel/people/hpa/raid6.pdf

>>178956
Хреново они с этим справляются. ZFS RaidZ на случайном чтении выдаёт в 2 раза меньше IOPS по сравнению с mdadm RAID5. Это в ZFS, с её динамическими страйпами (зависят от размера файла), умным расположением метаданных и прочими оптимизациями.

Железный же рейд про файлы на диске ничего не знает и знать не может, он будет оперировать только страйпами. И дальше у тебя или страйпы по 4кб, нормальный random read и адски медленный sequential read, или страйпы по 64к и обратная ситуация.
При этом если массиву без проверки корректности в общем-то всё равно и чтение данных там происходит достаточно быстро, то массиву с проверкой корректности обязательно надо читать весь страйп целиком - иначе хэш тупо не сойдётся.

>> No.178964  

>>178961
Что за бред ты несешь с AIO и прочим?

Представь хоть немного реальную нагрузку, когда 3-5-10 потоков читают мелкие блоки данных (десятки-сотни килобайт) из разных мест массива. Вероятность, что каждое чтение попадет на конкретный диск равна примерно 1/5. Соответственно пусть и неидеально, но контроллер может читать эти мелкие блоки с независимых жестких дисков в довольно большом количестве случаев благодаря очереди команд, NCQ и прочему, он же "не тупой" и "асинхронный".
Ты же хочешь заставить для каждого маленького чтения делать обязательным параллельное чтение со всех жестких дисков и потом проверку четности. Тебе не кажется, что общая производительность всех 3-5-10 потоков, читающих с диска будет значительно ниже, даже при учете асинхронности, NCQ и прочих трюков, выполняемых контроллером?

>>178963
Страйпы по 64K — это, кстати, довольно мелко, под новые диски может использоваться 512K и выше, но зависит от типажа нагрузки. Больше чтения — тогда есть выгода от больших кусков, а если начинается частая запись, то предпочтительнее использовать мелкие куски.

>> No.178965  

>>178961
Вместо бесполезного ликбеза лучше проведи эксперимент.
Создай RAID5 массив на несколько дисков и замерь его производительность с разными нагрузками, потом выдерни один из дисков и снова замерь производительность с теми же нагрузками. Вот у тебя и будет разница для режима без обработки блоков четности и с обработкой блоков четности.

>> No.178967  

>>178963

>Потому что чётность - это не "1+1=2, 2 чётное - ура", а функция. Вот тебе ссылка с математическим объяснением того как это работает и почему там нужны данные со всех дисков.

Там не может быть такого обоснования, потому что для проверки чётности не нужна galois-функция. Можно проверить чётность, игнорируя те данные, которыми RAID-6 отличается от RAID-5.

И вообще, о RAID-6 речь не шла.

>Потому что чётность - это не "1+1=2, 2 чётное - ура"

Ты не поверишь.

https://en.wikipedia.org/wiki/Parity_bit

RAID4 и RAID5 - это массивы с чётностью, RAID6 - это RAID5 с galois-функцией.

>И дальше у тебя или страйпы по 4кб, нормальный random read и адски медленный sequential read, или страйпы по 64к и обратная ситуация.
>Страйпы по 64K — это, кстати, довольно мелко, под новые диски может использоваться 512K и выше, но зависит от типажа нагрузки. Больше чтения — тогда есть выгода от больших кусков, а если начинается частая запись, то предпочтительнее использовать мелкие куски.

Хорошей реализации железного контроллера ничто не мешает иметь страйпы хоть размером с физический сектор и при том сохранять скорость поточного чтения. То, что её никто до сих пор не сделал, означает то, что спроса на неё нет.

>>178964

>Тебе не кажется, что общая производительность всех 3-5-10 потоков, читающих с диска будет значительно ниже, даже при учете асинхронности, NCQ и прочих трюков, выполняемых контроллером?

Разумеется, мне так кажется, и я это знаю, и то, что ты сказал - правильно.

Вот только случайная запись будет такой же фиговой, как у одного диска.

И профита от случайного чтения размером меньше страйпа в повседневном использовании ноль, потому что я не занимаюсь сортировкой на этом массиве, почти любой часто используемый файл на моём массиве больше 200KB (любая либа любой программы, любой файл игрушки, любая фотка, любой видос, даже маленькая пикча из шапки уже весит 60KB).

Даже MFT в NTFS - это большой кусок, а не разбросанные данные.

>Что за бред ты несешь с AIO и прочим?

Я же не знаю, в каком месте мировоззрения моего собеседника каша, вдруг он на самом деле думает, что контроллер читает только с одного диска. Собеседник, как выяснилось, не это имел ввиду, но легче мне от этого не стало.

>>178965

Мысль правильная.

>Создай RAID5 массив на несколько дисков и замерь его производительность с разными нагрузками, потом выдерни один из дисков и снова замерь производительность с теми же нагрузками.

Как ни странно, когда я считал md5sum всех блоков деградировавшего массива от ICH-9R (который фейк), производительность потокового чтения оказалось примерно той же, что и в полном массиве. И это вкупе с кошмарно медленной потоковой записью очень сильно удивляет, ведь количество вычислений примерно то же.

Это, впрочем, означает лишь то, что контроллер не сильно много теряет от проверки чётности на лету, но ничего не говорит о том, проверяет ли он её.

Можно сделать второй эксперимент: запустить случайное чтение отдельных байтов из тех мест массива, которые гарантированно находятся на разных дисках, и посмотреть, будет ли оно втрое быстрее, чем чтение случайных байт в примерно той же последовательности примерно из тех же относительных мест (в долях от ёмкости) с одного диска.

НО МНЕ ЛЕНЬ. Массив от Интела я уже похерил, RAID-5-массив на P400 я не собрал и в ближайшее время не соберу, свободных дисков нет.

Пусть кто-нибудь ещё умный в тред что-то напишет, а то мне страшно. В первый раз в жизни мне кто-то пытается доказать, что для проверки чётности нужна целая полоса, и пытаюсь разубедить его в этом только я.

>> No.178969  
Файл: rtaImage.jpg -(53 KB, 311x207, rtaImage.jpg)
53

>>178967
Окей, у тебя RAID5 из пяти дисков. Ты читаешь с одного из дисков один бит - 1. Напиши по пунктам, каким образом ты будешь проверять корректность прочитанного без чтения данных с других дисков.

>И профита от случайного чтения размером меньше страйпа в повседневном использовании ноль

Ну-ну. Тебе кто-то гарантирует выравнивание начала и конца файла по границам страйпов? Твои 60К могут начаться в середине страйпа и закончиться в следующем. И ты вместо 60К прочитаешь 128К.

>производительность потокового чтения оказалось примерно той же, что и в полном массиве

Ничего удивительного, посмотри как располагаются данные и чётность на дисках - при последовательном чтении диску не надо совершать лишних телодвижений.

>кошмарно медленной потоковой записью

Прямые руки инженеров intel, возможно это как-то связано с кэшем.

>Это, впрочем, означает лишь то, что контроллер не сильно много теряет от проверки чётности на лету

Это означает лишь то, что проверка чётности на лету при последовательном чтении стоит недорого. Сделай то же самое со случайным чтением.

>запустить случайное чтение отдельных байтов из тех мест массива, которые гарантированно находятся на разных дисках, и посмотреть, будет ли оно втрое быстрее

Будет.

>> No.178972  

>>178969

> Напиши по пунктам, каким образом ты будешь проверять корректность прочитанного без чтения данных с других дисков.

У тебя каша в голове. Перечитай обсуждение с начала.

Ты думаешь, что страйп - это N бит? И когда ты говоришь о чтении целого страйпа, ты говоришь о N битах? Ты вообще тот собеседник, который меня учит, или вкатился недавно?

>Ну-ну. Тебе кто-то гарантирует выравнивание начала и конца файла по границам страйпов? Твои 60К могут начаться в середине страйпа и закончиться в следующем. И ты вместо 60К прочитаешь 128К.

А ты молодец, сам догадался. Из-за этого случайное чтение нужно ещё меньше.

>Ничего удивительного

Ты моему чувству удивительного не указывай, лучше оп-пост прочитай, пункт 5).

>Это означает лишь то, что проверка чётности на лету при последовательном чтении стоит недорого.

У тебя каша в голове.

>Сделай то же самое со случайным чтением.

Прочитай пост, на который ты отвечаешь, до конца.

>Будет.

А теперь, раз ты такой умный, ответь на вопрос, заданный давным давно: >>178084

>> No.178973  

Есть админы не локалхостов?
Предпочёл для четырёх дисков RAID10, а не RAID5. Главное сохранность данных, так свои нервы дороже, чем деньги собственника компании. Всё правильно сделал?

>> No.178974  

>>178973

RAID10 из 4ёх дисков не выдерживает выход из строя любых двух дисков - как и RAID5. Шило на мыло, как по мне.

RAID6 из четырёх дисков надёжнее, если контроллер умеет. Ёмкость - как у RAID10 из четырёх.

>> No.178975  
Файл: RAID10Fail.png -(7 KB, 492x279, RAID10Fail.png)
7

>>178974
Одно маленькое Но на картинке.
RAID6 не завезли, да.

>> No.178976  

>>178975

>Одно маленькое Но на картинке.

В половине случаев одновременного выхода из строя двух дисков выходить из строя будут диски с одинаковыми данными.

>RAID6 не завезли, да.

Тогда выбор правильный.

>> No.178977  

НО

>>178973

> Главное сохранность данных, так свои нервы дороже, чем деньги собственника компании.

RAID - это не замены бэкапа. RAID6 ещё хоть как-то может заменить бэкап (при этом оставаясь уязвимым к локальным физическим повреждениям, что неприемлимо для компании), RAID10 - нет.

>> No.178978  

>>178977

>RAID - это не замены бэкапа

Я из тех, кто уже делает бэкапы. Для этого взят второй аналогичный массив.

>> No.178981  

>>178973
Всё правильно сделал. Мало того что RAID10 несколько надёжнее, он ещё и заметно быстрее. А вот под бэкап можно было и RAID5 взять, как-никак железо нынче денег стоит.

>>178972

>Ну-ка, спецы, скажите мне, все ли реализации RAID5 проверяют чётность во время любого чтения?

Ни одна из реализаций RAID5 не проверяет чётность во время чтения.

>Ты моему чувству удивительного не указывай, лучше оп-пост прочитай, пункт 5).

В оп-посте твои домыслы на этот счёт. Интел в своих чипсетах сделал крайне кривую реализацию RAID5, принцип его работы тут вообще не при чём.

>Из-за этого случайное чтение нужно ещё меньше.

Случайное чтение не нужно потому что надо читать данные из произвольного места на диске? Купи стример с пачкой кассет, расскажешь потом как тебе не нужно случайное чтение.

>> No.178982  

>>178981

>Случайное чтение не нужно потому что надо читать данные из произвольного места на диске?

Ещё раз пропустишь написанное мное в последних десяти постах - буду обзываться.

>>И профита от случайного чтения размером меньше страйпа в повседневном использовании ноль, потому что я не занимаюсь сортировкой на этом массиве, почти любой часто используемый файл на моём массиве больше 200KB (любая либа любой программы, любой файл игрушки, любая фотка, любой видос, даже маленькая пикча из шапки уже весит 60KB).

Можешь заменить "ноль" на "почти ноль".




[d | an-b-bro-fr-gf-hr-l-m-maid-med-mi-mu-ne-o-old_o-p-ph-r-s-sci-sp-t-tran-tv-w-x | bg-vg | au-mo-tr | a-aa-abe-azu-c-dn-fi-hau-jp-ls-ma-me-rm-sos-tan-to-vn | misc-tenma-vndev | dev-stat]
[Burichan] [Futaba] [Gurochan] [Tomorrow] [Архив-Каталог-RSS] [Главная]