Файловая система ZFS — основа надежного и недорогого хранилища данных. Файловые системы ближайшего будущего. ZFS Что такое zfs
Файловая система ZFS невероятно популярна. В результате многие в предприятии клянутся им и используют его для размещения триллионов байтов данных. Несмотря на свою популярность, пользователи Linux не смогут наслаждаться этим из коробки. Вместо этого те, кто хочет проверить это и использовать его в качестве основной файловой системы хранилища, должны будут установить его.
Установка ZFS немного отличается от других файловых систем, и в зависимости от того, что вы используете, может потребоваться небольшое ноу-хау. Если вы новичок в этой файловой системе, лучше всего идти по маршруту Ubuntu. Начиная с Ubuntu 16.04, Canonical упрощает работу с ZFS. Еще лучше, Ubuntu - безусловно самая безопасная реализация ZFS в Linux, с простой настройкой и процессом сборки, который, как известно, очень надежный (в то время как другие дистрибутивы Linux имеют высокий риск нарушения ZFS).
Чтобы установить файловую систему ZFS, Следуйте инструкциям и узнайте, как заставить их работать, прежде чем продолжить этот учебник.
Примечание. Хотя можно использовать ZFS для одного жесткого диска, это не очень хорошая идея, и вы, вероятно, пропустите все функции, которые делают эту файловую систему отличной. Точкой файловой системы является создание избыточности, путем растяжения данных на нескольких жестких дисках. Прежде чем продолжить, убедитесь, что у вас больше, чем 1 жесткий диск для ZFS.
Настройка ZFS
Файловая система ZFS работает, объединяя множество разных жестких дисков вместе, чтобы создать один большой центр хранения. Это звучит слишком сложно, и это так. Тем не менее, результат - превосходное хранилище с большим пространством.
Создание новой файловой системы ZFS немного сложнее, чем просто открытие редактора разделов Gparted. Вместо этого вам нужно будет взаимодействовать с ним на уровне командной строки. В окне терминала запустите lsblk команда. Запуск команды «list block» выведет все накопители на вашем ПК Linux.
Пройдите и решите, какие жесткие диски использовать для вашего Z-пула, и помните имена. В этом учебнике наши три диска в пуле ZFS / DEV / SDB , / DEV / SDC и / DEV / SDD .
Затем вам нужно полностью обнулить жесткие диски, выбранные для Z-пула, чтобы у них больше не было данных. С использованием dd команду, перезапишите каждый из дисков. Это займет некоторое время.
Примечание: изменение / DEV / SDx с идентификатором диска, найденным с помощью lsblk команда (SDB И т.д.).
Sudo dd if = / dev / zero of = / dev / sdX bs = 8M
когда dd заканчивается, запускает FDISK команда. Запуск fdisk покажет много информации о жестких дисках, включая информацию о файловой системе для каждого. Просмотрите показания и убедитесь, что ни один из дисков, которые вы удалили, не имеет файловой системы. Этот шаг имеет решающее значение, поскольку ZFS не использует традиционный формат разбиения.
Суда FDISK-л
Если же линия индикатора FDISK считывание выглядит хорошо, безопасно создать новый Z-пул ZFS. Для базовой настройки Z-пула выполните следующие действия:
Sudo zpool create -f newzpool / dev / sdb dev / sdc / dev / sdd
Базовая установка позволит большинству пользователей удовлетворить свои потребности в хранилищах. Однако те, которые ценят свои данные и нуждаются в защите, не должны идти с такой базовой настройкой. Вместо этого подумайте о создании пула ZFS с RaidZ.
Использование RaidZ в сочетании с вашим ZFS-пулом гарантирует, что ваши данные будут избыточными, с множеством резервных копий. Чтобы создать пул ZFS с RaidZ, запустите:
Sudo zpool create -f newzpool raidz / dev / sdb dev / sdc / dev / sdd
Чтобы добавить файлы в новый пул хранения ZFS, откройте диспетчер файлов и перейдите в корень файловой системы. Поместите файлы внутри папки с именем ZFS Zpool.
Добавить диски в ZFS Zpool
ZFS предназначен для хранения большого количества данных, но это не значит, что ваши оригинальные диски не будут заполняться. Наступит время, когда потребуется больше места для хранения. К счастью, поскольку ZFS не использует разделы, добавление большего количества хранилища в систему прост.
В этом примере мы добавим еще два диска в Zpool (/ dev / sde и / dev / sdf).
Примечание: если ваша установка ZFS не использует RaidZ, удалите ее из команды.
Sudo zpool add -f newzpool raidz / dev / sde / dev / sdf
Удалить пул ZFS
Зачастую объемы ZFS ломаются и становятся непригодными. Когда это произойдет, вам может потребоваться удалить пул хранения. Чтобы удалить пул хранения, откройте терминал и используйте zfs destroy команда.
Sudo zpool уничтожить newzpool
Бег zpool уничтожить занимает довольно много времени, в зависимости от того, сколько данных находится в вашем пуле хранения. Вы узнаете, что Zpool полностью уничтожен, когда терминал снова используется.
Проверить статус ZFS
Быстрый способ проверить статус вашего Zpool с помощью статус zpool команда. С его помощью пользователи могут видеть базовое считывание тома ZFS, как он это делает и имеются ли какие-либо ошибки. Чтобы проверить статус, выполните следующую команду.
Предлагаемые заметки призваны осветить ключевые аспекты и заложить основы для понимания того, какие возможности и удобства предоставляет ZFS пользователю.
zpool
Если традиционно файловые системы создают на разделах носителей информации, то ZFS объединяет произвольное множество физических накопителей и их логических частей в пространство без границ, проще говоря поле (англ. pool ). При этом решение низкоуровневых вопросов ZFS берёт на себя, позволяя создать зеркальный массив из двух накопителей одной командой:
# zpool create pool mirror sdb sdc
Когда дублирование информации пользователя не требуется, носители информации можно объединить, сложив их ёмкости и увеличив скорость доступа:
# zpool create pool sdb sdc
В вышеприведённых примерах pool - произвольное имя создаваемого информационного поля. sdb и sdc - сокращения от путей /dev/sdb и /dev/sdc . Заметим, что в таком случае на каждом устройстве будут созданы GPT разметка и разделы:
Устр-во Start Конец Size Тип /dev/sdc1 2048 31487999 15G Solaris /usr & Apple ZFS /dev/sdc9 31488000 31504383 8M Solaris reserved 1
Можно передавать команде zpool create и имена существующих разделов (как обычно), а так же файлов (вариант предусмотрен для экспериментов).
Если поле создано на переносном накопителе, для безопасного отключения служит команда:
# zpool export pool
а для подключения:
# zpool import pool
Когда имя не известно, команда импорта выполняется без его указания и выводит список возможных.
Архитектура ZFS такова, что извлечение физического накопителя без предварительного экспорта исключает повреждение информации пользователя. Механизм транзакций сохраняет изменения в свободных секторах без перезаписи оригинала. Таким образом гарантируется целостность ФС и допускается потеря лишь не в полной мере записанных данных. Например, при аварийном отключении энергии непосредственно в процессе сохранения отредактированного документа на диске окажется прежняя версия. Для дополнительной защиты данных от ошибок (в том числе аппаратуры) ZFS использует контрольные суммы.
Запуск задачи очистки от повреждений производится командой:
# zpool scrub pool
а проверка состояния:
# zpool status
Произведённые операции сохраняются в журнале, для просмотра которого служит:
# zpool history
zfs
Создав вышеизложенным способом pool, можно обнаружить, что в коневом разделе смонтирован каталог с соответствующим именем. На самом деле, ему соответствует одноимённая файловая система, в чём можно убедиться, дав команду:
# zfs list
В таком виде уже возможно использовать ZFS - как обычную ФС. Если желательно монтировать традиционно, командой mount и посредством /etc/fstab , то следует изменить соответствующее свойство таким образом:
# zfs set mountpoint=legacy pool
Для просмотра свойств предназначен вариант get , например, их перечень можно получить так:
# zfs get all
Ряд свойств должен быть знаком тем, кто редактировал файл /etc/fstab . ZFS хранит их поближе к характеризуемым структурам, что бы «инструкция по использованию» была под рукой. Но это не мешает использовать и привычный подход.
Зачем нужна zfs, когда есть zpool?
Как правило, предпочтительно отделять данные пользователя в /home от системных. В ряде случаев требования к гибкости файловой иерархии повышены, а заранее предугадать количество разделов не представляется возможным. ZFS избавляет пользователя от вопросов «какие лучше выбрать размеры разделам?» и позволяет организовать в едином поле произвольное множество файловых систем, распределяя общий объём памяти по мере надобности, а при необходимости даёт возможность добавить новые физические носители.
В таких сценариях автоматически созданную ФС не используют непосредственно для хранения данных. Её рассматривают как родительскую: задают свойства, которые требуется унаследовать дочерним структурам, например:
# zfs set compression=lz4 pool # zfs set acltype=posixacl pool # zfs set xattr=xa pool
Заметим, что при указании некорректного значения свойства, в качестве подсказки будет выдан список возможных.
# zfs create pool/ROOT # zfs create pool/ROOT/rosa-1 # zfs create -o mountpoint=/home pool/home
Как видно, свойства можно задавать непосредственно при создании ФС, а не только менять позже. Отличная от legacy точка монтирования /home приведёт к тому, что pool/home окажется доступен по соответствующему пути в случае импорта, или команды zfs mount -a . Однако, нужно учитывать тонкость: свойство overlay по умолчанию off - если что-либо по заданному пути уже смонтировано, то оверлей создан не будет.
Помимо pool/ROOT/rosa-1 можно создать pool/ROOT/rosa-2 и установить два варианта ОС. Копию можно создавать не только привычным методом, но и используя механизм мгновенных снимков состояния zfs snapshot и клонирования zfs clone . С учётом таких сценариев, а так же возможности chroot , вместо mountpoint=/ удобнее выбрать legacy (и если читатель выполнил пример из предыдущего раздела, то оно таким и унаследовано от pool )
Запуск ОС Роса с ZFS
Осуществляется просто, если на диске создан отдельный раздел /boot для grub2 и ядер ОС. В таком случае в grub.cfg в качестве параметра ядра root следует указать путь к корневому разделу, возможны различные варианты:
Linux /vmlinuz-4.4.7-nrj-laptop-1rosa-x86_64 root=ZFS=pool/ROOT/rosa-1 ro linux /vmlinuz-4.4.7-nrj-laptop-1rosa-x86_64 root=zfs: ro zfs=pool/ROOT/rosa-1
С этой задачей справляется update-grub2 из официальных репозиториев, но в некоторых случаях требуется недавняя beta версия. Так же желательно установить и соответствующее свойство:
# zpool set bootfs=pool/ROOT/rosa-1
ZFS в порядке сжатия и дедупликации linux
каков порядок записи данных в файловую систему zfs в linux?
единственный конкретный документ я нашел на http://docs.oracle.com/cd/E36784_01/html/E36835/gkknx.html говорит: When a file is written, the data is compressed, encrypted, and the checksum is verified. Then, the data is deduplicated, if possible.
но если это правда, то дедупликация не будет дедупликации блоков, сжатых с различными алгоритмами сжатия.
Я тестировал mysqlf, и я считаю, что порядок следующий: dedup, compress, encrypt .
мой тест-настройка:
Zpool create tank /dev/sdb zfs create tank/lz4 zfs create tank/gzip9 zfs set compression=lz4 tank/lz4 zfs set compression=gzip-9 tank/gzip9 zfs set dedup=on tank
выход zfs list
NAME USED AVAIL REFER MOUNTPOINT tank 106K 19,3G 19K /tank tank/gzip9 19K 19,3G 19K /tank/gzip9 tank/lz4 19K 19,3G 19K /tank/lz4
сгенерируйте случайный файл с помощью dd if=/dev/urandom of=random.txt count=128K bs=1024
131072+0 Datensätze ein 131072+0 Datensätze aus 134217728 Bytes (134 MB) kopiert, 12,8786 s, 10,4 MB/s
вывод списка zpool в пустой пул:
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT tank 19,9G 134K 19,9G - 0% 0% 1.00x ONLINE -
затем скопируйте файлы в наборы данных с различными алгоритмами сжатия:
Cp random.txt /tank/lz4 cp random.txt /tank/gzip9
выход zfs list после копирования:
NAME USED AVAIL REFER MOUNTPOINT tank 257M 19,1G 19K /tank tank/gzip9 128M 19,1G 128M /tank/gzip9 tank/lz4 128M 19,1G 128M /tank/lz4
выход zpool list afer копирование:
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT tank 19,9G 129M 19,7G - 0% 0% 2.00x ONLINE -
коэффициент дедупликации 2.0 после копирование одного файла в разные наборы данных. На мой взгляд, это означает, что дедупликация выполняется на data -блоки перед сжатием и шифрованием.
пожалуйста, кто-нибудь может проверить, правильно ли это?
1 ответов
когда файл записывается, данные сжимаются, шифруются, и контрольная сумма проверяется. Затем данные дедуплицируются, если это возможно.
мое предположение со случайным файлом было неверным. Кажется, что ZFS прерывает сжатие, если не может достичь определенного минимального коэффициента сжатия.
другая определенная вещь, котор нужно заметить что представление LZ4 на несжимаемых данных очень высоко. Это достигается путем включения механизма "раннего прерывания", который срабатывает, если LZ4 не может соответствовать ожидаемому минимальному коэффициенту сжатия (12,5% на ZFS).
Для операционной системы , перенос которой на другие платформы вызвало всплеск диаметрально разных эмоций у разработчиков: от бурного восхищения и ликования, до прямо противоположного — раздражения и ярости.
Попробуем ознакомиться с точкой зрения каждой из сторон, а также в причинах существования столь полярных оценок этой файловой системы. Но, прежде чем мы это сделаем, давайте хотя бы в общих чертах ознакомимся с её особенностями и свойствами:
- 128-битная файловая система, что даёт возможность хранения практически неограниченных объёмов информации. На практике это значит, что ZFS теоретически может хранить объёмы информации, которые превышают сегодняшние технологические возможности, при условии использования текущего подхода к организации хранения данных;
- Очень большое внимание уделяется целостности и надежности хранения, как пользовательских данных, так и метаданных ФС, для этого используются продвинутые алгоритмы хэширования;
- Поддержка снапшотов (snapshot) и пулов хранения (storage pools), благодаря чему ZFS сочетает в себе возможности файловой системы и системы управления томами (новая концепция storage-пулов);
- Отсутствие необходимости в fsck благодаря этой ФС;
- Традиционно считается, что ZFS — это достаточно производительная файловая система. Впрочем, это утверждение иногда ставится под сомнение. Как минимум, конкретные цифры очень сильно зависят от типа задачи, на которой производится подобное сравнительное тестирование производительности;
- Возможности для избирательного сжатия и/или шифрования отдельных файлов или файловых систем;
- Поддержка автоматического распознавания и объединения (исключения) файлов-дубликатов;
- ZFS не поддерживает квоты. Вернее сказать, её поддержка квот несколько своеобразна: понятие «выделение квоты» значит в терминологии ZFS то, что вы ограничиваете размер создаваемой файловой системы. Дизайн системы таков, что каждому пользователю ZFS следует выделять свою собственную файловую систему со всеми сопутствующими ограничениями;
- Определенные проблемы создает не техническая особенность ФС — несовместимая с GPL лицензия на код (CDDL);
- Чтобы показать инновационность ZFS не только в области технических решений, приведу, как пример, возможность управлять основными возможностями ФС через веб-интерфейс;
- И , так как, повторюсь — ZFS чрезвычайно велик в своих возможностях и особенностях, и перечислить всех их здесь просто не представляется возможным.
Конечно, если смотреть на эти возможности по отдельности, то они во многом не новы и встречаются в том или ином виде в других файловых системах, но такой единый комплекс из приведенных возможностей впервые представлен только в ZFS, что и делает её столь уникальной и интересной на данный момент.
Если добавить сюда её относительно зрелый возраст и очень хорошее состояние в плане стабильности кода — становятся понятны те бури эмоций, которые вызвали новости о публикация её кода под открытой лицензией, а также портирование этой инновационной ФС на такие популярные ОС, как FreeBSD, Linux, MacOS X.
Что касается резко отрицательных откликов на эту, вне всяких сомнений, уже знаменитую файловую систему, то они сводятся в основном к следующим тезисам. Один из ведущих разработчиков Linux, кстати, ответственный за поддержку её дисковой подсистемы, (Andrew Morton), разразился гневными обличениями ZFS в «чудовищном нарушении уровней реализации».
Эндрю Мортан , ведущий разработчик дисковой подсистемы ядра Linux
Некоторые другие разработчики присоединилась к его обвинениям в «жутком дизайне» ZFS, и на данный момент можно констатировать, что Андрея Мортана в адрес ZFS — «ужасное нарушение уровней дизайна » и «необоснованная мешанина из кода » — стали уже своего рода интернет-мемами, на которые заочно уже попытались ответить разработчики из Oracle, Linux, RedHat, FreeBSD и других известных проектов.
В качества ответа на эти выпады, ведущего разработчика ZFS (Jeff Bonwick):
«Все эти обвинения в нарушении дизайна уровней реализации файловой системы, оттого, что ZFS комбинирует в себе одновременно функциональность файловой системы, менеджера томов и программного RAID-контроллера. Я полагаю, что ответ на эту претензию будет зависеть от того, что понимать под обвинением „нарушает дизайн уровней“.В процессе разработки ZFS мы установили, что стандартный дизайн абстрагированных уровней дискового стека провоцирует удивительное количество ненужной сложности и избыточной логики. В процессе рефакторинга мы пришли к мнению, что единственное решение проблемы — это фундаментальный пересмотр границ слоев и их отношений, — что делает все сразу намного более простым».
Какую бы позицию в отношении ZFS не занимали лично вы, следует признать как минимум одно: ZFS — это принципиально новая технология в индустрии файловых систем.
