Ssd накопитель википедия: Технология Intel® Optane™

К настоящему времени, вероятно, вы слышали о твердотельных накопителях или SSD как о невероятно быстром накопителе для ускорения работы старых компьютеров или обеспечения надежного времени безотказной работы по сравнению с их заменой, жесткими дисками или жесткими дисками. Но существует бесчисленное множество вариантов, так какой привод лучше?

Существует несколько типов разъемов, которые SSD используют для взаимодействия с компьютером, включая SATA, PCIe, M.2, U.2, mSATA, SATA Express и даже без них, поскольку некоторые твердотельные накопители теперь припаяны к плате. Для потребителя наиболее распространенными вариантами являются SATA и M.2. SATA известна как старая система с двумя разъемами, в которой использовались жесткие диски, включая кабель питания SATA и кабель для передачи данных SATA. Твердотельные накопители на основе SATA лучше всего подходят для старых компьютеров, на которых отсутствуют разъемы SSD нового типа и есть только соединения SATA. Отличный способ повысить скорость старого компьютера с вращающимся жестким диском — это клонировать диск на SSD и заменить жесткий диск на SSD, что повысит способность компьютера читать / писать данные, возможно, в десять раз.Однако следует отметить, что эти диски SATA ограничены максимальной теоретической скоростью передачи 600 МБ / с, тогда как другие твердотельные накопители без узких мест недавно превысили 3 ГБ / с, что почти в пять раз превышает максимум SATA. Это означает, что твердотельные накопители на основе SATA не могут использовать скорость и эффективность новых контроллеров, таких как NVMe.

NVMe, или Non-Volatile Memory Express, — это новый контроллер, который заменяет интерфейс AHCI или Advance Host Controller Interface. AHCI — это контроллер, который жесткие диски традиционно используют для взаимодействия между шиной SATA жесткого диска и компьютером, к которому он подключен.AHCI в качестве контроллера также создает узкое место для SSD в виде задержки, так же как шина SATA создает узкое место для пропускной способности SSD. Контроллер AHCI никогда не предназначался для использования с твердотельными накопителями, а контроллер NVMe был создан специально для использования только с твердотельными накопителями. NVMe обещает меньшую задержку, работая с более высокой эффективностью, работая с возможностями распараллеливания твердотельного накопителя, имея возможность запускать более чем в две тысячи раз больше команд на диск или с диска, чем по сравнению с диском на контроллере AHCI.Чтобы получить оптимальную производительность от диска NVMe, убедитесь, что он использует PCIe (Peripheral Component Interconnect Express) в качестве шины, которая устраняет все узкие места, которые могут возникнуть при использовании SATA в качестве шины.

Если необходимы новейшие и самые высокие скорости и эффективность, которые поставляются с твердотельным накопителем NVMe, то следует помнить о нескольких вещах. Во-первых, убедитесь, что компьютер, на который устанавливается диск, имеет разъем M.2 для этого типа диска. Большинство потребительских накопителей NVMe поддерживают только M.2 клавиша «M» (5 контактов), которая представляет собой физический граничный разъем M.2. В твердотельных накопителях на основе SATA используется клавиша «B» (6 контактов), но есть некоторые разъемы с «B + M», которые могут принимать как диски SATA, так и NVMe. Во-вторых, компьютер должен быть совместим с поддержкой накопителя NVMe и загрузкой с него. Многие старые компьютеры и операционные системы могут не поддерживать загрузку или даже распознавать диск NVMe из-за того, насколько он новый. В-третьих, рассчитывайте заплатить премию. Накопители PCIe NVMe являются новейшими и крупнейшими на потребительском рынке твердотельных накопителей, поэтому передовые преимущества — это максимальная цена.И, наконец, убедитесь, что диск NVMe подходит для сценария использования. Улучшение производительности будет наблюдаться только при больших объемах операций чтения / записи на диск и с диска или больших объемов небольших операций чтения / записи. Компьютеры будут загружаться быстрее, файлы будут быстрее передаваться и искать, программы будут загружаться быстрее, но это не ускорит загрузку страницы Facebook.

В заключение, твердотельные накопители быстро становятся повсеместными в компьютерном мире, и не зря. Их цены стремительно падают, их скорость не имеет себе равных, они меньше подходят для более тонких систем, и у них гораздо меньше шансов выйти из строя, особенно после падения или встряхивания устройства.Если у вас есть старый компьютер с медленной загрузкой, который нуждается в повышении производительности, отличным решением для увеличения скорости является покупка твердотельного накопителя SATA. Но если вы ищете передовых технологий и скорости, ничто не сравнится с накопителем PCIe NVMe M.2.

BeeGFS Wiki: Часто задаваемые вопросы (FAQ)

Кому следует использовать BeeGFS?

Подходит ли BeeGFS для производственного использования?

Каковы минимальные системные требования для работы BeeGFS?

• Сервер хранения:
• На сервере хранения должно быть не менее 4 ГБ ОЗУ, чтобы было достаточно памяти для кэширования и буферов подключения клиентов. 1 ГБ ОЗУ на подключенный диск обычно является хорошим выбором, в зависимости от фактического типа диска и количества клиентов файловой системы.
• Если вы используете традиционные жесткие диски SATA (то есть не твердотельные накопители или быстрые диски SAS), вы, как правило, захотите использовать RAID, по крайней мере, с 8 дисками на сервер.
• Несмотря на то, что задачи сервера хранения, как правило, не сильно нагружают ЦП, буферные кэши Linux могут создавать высокую загрузку ЦП с быстрыми массивами RAID, поэтому часто бывает полезно иметь здесь быстрый ЦП, чтобы обеспечить высокую пропускную способность, особенно в высокоскоростных сетях.
• Следите за балансом между количеством дисков (во всей системе и на сервер), пропускной способностью сетевых соединений и количеством клиентов файловой системы.(Например, в зависимости от вашего варианта использования может не иметь смысла использовать более 12 жестких дисков на сервер, если серверы оснащены только межсоединением 10 Гбайт.)

• Сервер метаданных:
• Если вы работаете в основном с большими файлами, то для сервера метаданных не так много работы, и вы можете просто запустить его на тех же машинах, которые работают в качестве серверов хранения, и на тех же разделах жесткого диска.
• В кластерах с очень разными типами рабочих нагрузок вы все равно можете захотеть запустить демон сервера метаданных на машинах сервера хранения (чтобы иметь большое количество серверов метаданных без дополнительных затрат на выделенные машины), но вам следует использовать выделенные диски. внутри ваших серверов хранения метаданных.
  Поскольку серверы метаданных выполняют много операций с произвольным доступом к маленьким дискам (т. Е. Они читают и записывают множество небольших файлов), это может существенно повлиять на производительность хранилища и доступа к метаданным, если оба они расположены на одних и тех же дисках. На практике мы также часто видим, что у контроллеров RAID возникают проблемы (с производительностью) при управлении различными типами томов RAID для метаданных и серверов хранения, поэтому вы можете захотеть иметь метаданные на отдельном контроллере RAID.
  Вы также можете использовать выделенный сетевой интерфейс для метаданных, поскольку потоковая передача по сети может повлиять на задержку доступа к метаданным на сетевом уровне.
• Использование ЦП на серверах метаданных может быть высоким, если у вас большое количество клиентов, работающих с большим количеством (небольших) файлов. Поэтому убедитесь, что используете быстрый ЦП и быстрые диски (обычно твердотельные накопители), чтобы гарантировать низкую задержку доступа к метаданным.
• Объем пространства, необходимого для метаданных по сравнению с общей емкостью хранилища, зависит от фактического варианта использования (т. Е. От общего количества файлов, которые нужно сохранить). Для временной файловой системы пространство, необходимое для метаданных, обычно составляет от 0,3% до 0.5% от общей емкости хранилища, но иногда это слишком много. Подробнее см. Здесь.

• Клиент:
• Поскольку клиентские компоненты BeeGFS очень легкие, особых требований к оперативной памяти или процессору нет. О поддерживаемых ядрах см. Здесь.

• Демон управления:
• Демон управления использует только минимальные циклы ЦП и память.Требуемое дисковое пространство составляет около 1 МБ, а потребление памяти минимально. Пропускная способность сети, создаваемая демоном управления, также очень мала. Доступ к демону управления не влияет на производительность файловой системы. Просто запустите этот демон на любом из серверов хранения / метаданных или на главном сервере кластера. Тем не менее, если демон управления настроен на использование RDMA для связи (по умолчанию: TCP), потребление памяти может стать ощутимым на больших кластерах, поскольку для каждого отдельного подключения потребуется несколько МБ памяти.

• Демон Адмон:
• Демон admon часто хранит и запрашивает множество значений из своей внутренней базы данных, поэтому он будет запускать некоторые транзакции хранилища и использовать умеренный объем оперативной памяти и циклов ЦП. Часто нормально запускать его на любом другом сервере хранилища / метаданных, но ваш мастер кластера может быть лучшим местом для этого демона, чтобы убедиться, что он не влияет на производительность файловой системы.

• Пн Демон:
• Демон mon собирает и сохраняет статистику узлов через регулярные промежутки времени.Сколько места для хранения вам нужно, зависит от размера вашей установки, как долго хранятся данные и интервал сбора. По умолчанию базе данных не потребуется много места для хранения (не более нескольких ГБ), если у вас нет действительно огромного кластера. В большинстве случаев также будет достаточно запустить демон и сервер InfluxDB на хосте с несколькими ГБ ОЗУ и небольшим ЦП (возможно, на том же узле, на котором выполняется управление).

Какие типы сетей поддерживает BeeGFS?

Могу ли я бесплатно протестировать BeeGFS?

Нужен ли мне SAN или какое-либо другое общее хранилище для работы BeeGFS?

Обеспечивает ли BeeGFS высокую доступность?

Кроме того, вы также можете реализовать холодное аварийное переключение с парами активный / активный сервер на основе общего хранилища и внешних инструментов, таких как, например, Сердцебиение или кардиостимулятор. Это позволит получить доступ к вашим существующим данным в случае сбоя машины, хотя BeeGFS использует кэширование записи на серверах, поэтому холодное переключение при сбое может быть не полностью прозрачным для запущенных приложений.
Чтобы настроить пары активный / активный с аварийным переключением на основе внешних инструментов, вам необходимо запустить новый экземпляр отказавшего демона на другом компьютере, чтобы два экземпляра одного и того же демона работали на одном компьютере (с использованием разных портов сетевого протокола) когда одна машина не работает. Чтобы экземпляр демона аварийного переключения BeeGFS выглядел как исходный демон, вам также необходимо переместить IP-адреса на машину аварийного переключения и убедиться, что экземпляр демона аварийного переключения использует тот же NodeID на хосте аварийного переключения.(См. Раздел «Конфигурация и настройка» на этой странице для получения информации о том, как вручную определить NodeID вместо использования имени хоста в качестве NodeID.)
Обратите внимание, что пользовательская вики содержит более подробную информацию по этой теме.

Могу ли я делать все, что можно сделать с графическим интерфейсом Admon из командной строки?

• Установка в основном сводится к установке RPM или DEB пакетов из репозиториев yum / apt и установке нескольких значений файла конфигурации.
• Для запуска и остановки служб (включая монтирование клиента) существуют сценарии инициализации: /etc/init.d/beegfs-X.
• Изменения конфигурации во время выполнения (например, настройки чередования) и запросы состояния могут быть выполнены с помощью инструмента настройки BeeGFS Online (beegfs-ctl на клиенте).

Является ли BeeGFS открытым?

Что означает аббревиатура FhGFS?

FhG: Немецкое название Общества Фраунгофера — Fraunhofer Gesellschaft , официальное сокращение — FhG.
FS: FS — это сокращение от файловой системы .

Примечание: Поскольку значение буквы G в FhGFS не всегда очевидно, некоторые люди начали называть FhGFS Fraunhofer Global File System или Fraunhofer GFS , а иногда даже просто Fraunhofer .

Как BeeGFS распространяет метаданные?

Как сделать резервную копию метаданных?

Обратите внимание, что, начиная с серии выпуска 2012.10, метаданные BeeGFS также используют жесткие ссылки в базовой файловой системе. Важно, чтобы эти жесткие ссылки сохранялись при резервном копировании и восстановлении метаданных.

• Метод 1: Использование GNU tar без поддержки расширенных атрибутов
• Старые версии GNU tar не поддерживали расширенные атрибуты, поэтому для tar и getfattr требуется два шага резервного копирования метаданных.
• Резервное копирование данных:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ tar czvf /path/to/archive/meta.tar.gz metadir /
  $ getfattr -R -d -P metadir /> /path/to/archive/ea.bak 

• Восстановление резервной копии:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ tar xvf /path/archive/meta.tar.gz
  $ setfattr --restore = / путь / к / архиву / ea.bak 

• Метод 2: Использование GNU tar с поддержкой расширенных атрибутов
• Последние исходные версии tar GNU поддерживают расширенные атрибуты, версии tar RHEL6 исправлены для поддержки резервного копирования расширенных атрибутов.
• На RHEL должна использоваться как минимум версия tar-1.23-7.el6 (RHEL6.3). В более ранних версиях tar RHEL есть серьезная ошибка, из-за которой невозможно восстановить файлы резервных копий.
• Резервное копирование данных:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ tar czvf /path/to/archive/meta.tar.gz metadir / --xattrs 

• Восстановление резервной копии:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ tar xvf /path/to/archive/meta.tar.gz --xattrs 

• Метод 3: Использование звездочки (http: // freecode.com / projects / star)
• star — альтернатива GNU tar, которая поддерживает резервное копирование расширенных атрибутов.
• Резервное копирование данных:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ star czv artype = exustar -xattr -f /path/to/archive/meta.tar.gz metadir / 

• Восстановление резервной копии:

   $ cd / путь / к / beegfs / meta_parent_dir
  $ star xzv -xattr -f /path/to/archive/meta.tar.gz metadir / 

Дополнительные примечания:

• Чтобы сократить общее время выполнения, вы можете использовать свой инструмент резервного копирования в сочетании с другими инструментами, такими как «xargs» (см. Параметр «—max-procs») или «GNU parallel» для запуска нескольких процессы параллельно, каждый на подмножестве структуры каталогов.
• Чтобы убедиться, что советники были зарезервированы, рекомендуется проверить, работают ли приведенные выше команды в вашей среде. Этот тест можно выполнить с помощью подкаталога (например, metadir / inodes / 1D / 4F /), чтобы проверить, работает ли резервное копирование и восстановление этого каталога. Восстановленные данные должны быть протестированы с помощью ‘getfattr -d metadir / inodes / 1D / 4F / some_file’, чтобы проверить, имеют ли эти файлы все еще расширенные атрибуты BeeGFS.
• Количество жестких ссылок файла метаданных можно проверить с помощью инструмента stat (например, stat metadir / dentries /…/some_file), который покажет, что количество ссылок больше 1, если в файле есть жесткие ссылки.

Как добавить новый узел хранения или узел метаданных?

1. Во-первых, убедитесь, что для следующих свойств установлено значение «true» в файле /etc/beegfs/beegfs-mgmtd.conf, чтобы служба управления разрешила добавление новых узлов и целей в систему.Вы найдете подробную документацию по этим свойствам внизу файла.
sysAllowNewServers = true
sysAllowNewTargets = true
2. Если вы измените указанные выше свойства, перезапустите службу управления позже.

    $ перезапуск службы beegfs-mgmtd 

3. После этого установите пакеты BeeGFS на новый узел и настройте службы, как описано в процедуре установки.
4. Теперь запустите службу, как показано в примере ниже.

    $ сервис beegfs-storage start 

5. Теперь используйте команду beegfs-check-servers, чтобы вывести список узлов серверов в вашей системе и проверить, есть ли в списке ваш новый узел. Если нет, проверьте файлы журналов добавленной службы и службы управления, чтобы узнать, не сообщает ли какое-либо сообщение об ошибке, почему узел не может быть добавлен.

    $ меньше /var/log/beegfs-mgmtd.log
   $ меньше /var/log/beegfs-meta.log
   $ меньше /var/log/beegfs-storage.log 

6. Наконец, установите для свойств управления значение false, чтобы предотвратить случайную регистрацию новых узлов и целей в вашей системе.После этого перезапустите службу управления.

sysAllowNewServers = false
sysAllowNewTargets = false

Как добавить новое целевое хранилище?

1. Во-первых, убедитесь, что для следующего свойства установлено значение «true» в файле / etc / beegfs / beegfs-mgmtd.conf, чтобы служба управления могла добавлять новые цели в систему. Вы найдете подробную документацию по этому свойству внизу файла.
sysAllowNewTargets = true
2. Если вы измените свойство выше, перезапустите службу управления позже.

    $ перезапуск службы beegfs-mgmtd 

3. После этого добавьте целевое хранилище на сервер хранилища, как описано в процедуре установки.
4. Теперь перезапустите службу хранилища, как показано в примере ниже.

    $ перезапуск службы beegfs-storage 

5. Теперь используйте команду beegfs-df для вывода списка всех узлов и целей в вашей системе и проверьте, есть ли в списке ваша новая цель. Если нет, проверьте файлы журналов добавленной службы и службы управления, чтобы узнать, не сообщает ли какое-либо сообщение об ошибке, почему узел не может быть добавлен.

    $ меньше /var/log/beegfs-mgmtd.log
   $ меньше /var/log/beegfs-storage.log 

6. Наконец, установите для свойства управления значение false, чтобы предотвратить случайную регистрацию новых целей в вашей системе.После этого перезапустите службу управления.

sysAllowNewTargets = false

Как переместить целевое хранилище на другой сервер?

1. Во-первых, мы предлагаем простои для перемещения целевого хранилища на новый сервер!
2. Затем отредактируйте файл /etc/beegfs/beegfs-storage.conf на текущем компьютере и удалите путь к движущемуся целевому хранилищу из разделенного запятыми списка каталогов целевого хранилища, определенного опцией storeStorageDirectory.Если служба настроена для работы в многорежимном режиме, будьте осторожны, чтобы использовать файл конфигурации и каталог правильного экземпляра.
3. Остановите службу хранения на текущем компьютере и отключите целевое устройство хранения.

    $ служба beegfs-storage stop
   $ umount / data / mydisk 

4. После этого запустите службу хранилища, если у нее есть оставшиеся целевые хранилища. Если вам не нужна запущенная на машине служба хранения, удалите ее.

    $ сервис beegfs-storage start 

5. Убедитесь, что служба хранения уже установлена ​​на новом компьютере.Если нет, установите его. Не запускайте службу на этом этапе.

• Если служба хранилища уже установлена ​​на новом сервере, и до перемещения у вас было несколько экземпляров службы, запущенных на разных машинах, и теперь вы хотите, чтобы на одном компьютере работали 2 экземпляра службы, каждый из которых использует другой идентификатор узла, настройте службу для работы в многорежимном режиме.
• В случае, если вы не возражаете, чтобы целевой объект хранения был связан с идентификатором узла, используемым новым сервером, вам не нужно настраивать службу хранения в многорежимном режиме.Позже, на следующем этапе этой процедуры, вы сможете просто добавить целевые хранилища к существующему экземпляру службы хранилища. Настройте службу как многорежимную только в том случае, если вы действительно хотите, чтобы перемещенная цель хранилища была связана с предыдущим идентификатором узла.

• Если вы перемещаете целевое хранилище на компьютер, на котором уже запущена служба хранилища, и эта служба не находится в многорежимном режиме, удалите все файлы, имена которых соответствуют шаблонам * ID * узла и * ID * узла, расположенных в хранилище. целевой каталог перемещается.Это заставит службу хранения воссоздать эти файлы с идентификатором узла, используемым существующим демоном службы хранения.
• В любом другом случае убедитесь, что файл nodeID существует в каталоге службы и содержит идентификатор, который демон службы хранения должен использовать для идентификации себя со службой управления. Если файл не существует, просто создайте его с тем же содержимым, что и файл originalNodeID.

 $ перезапуск службы beegfs-storage 

• Проверьте, нет ли в файлах журнала сообщений об ошибках.

   $ меньше /var/log/beegfs-mgmtd.log
  $ меньше /var/log/beegfs-meta.log
  $ меньше /var/log/beegfs-storage.log
  $ меньше /var/log/beegfs-client.log 

• Перечислите все целевые хранилища вашей системы и проверьте, отображается ли перемещенное хранилище в сети.

   $ beegfs-ctl --listtargets --longnodes --state 

• Если вы переместили цель хранилища в существующую службу хранилища, работающую на другом сервере, вы увидите, что предыдущая цель указана как недоступная.Это происходит потому, что служба управления все еще помнит об этом. Если вы хотите, чтобы служба управления забыла об этом, используйте команду ниже.

   $ beegfs-ctl --removenode <идентификатор узла> 

Как я могу переместить цель метаданных на другой сервер?

1. Во-первых, мы предлагаем простои для перемещения целевого объекта метаданных на новый сервер!
2. Остановите службу метаданных на текущем компьютере и отключите целевое устройство метаданных. Если служба настроена для работы в многорежимном режиме, будьте осторожны, чтобы остановить нужный экземпляр.

    $ сервис beegfs-meta stop
   $ umount / data / ssd 

3. Если вам не нужна служба метаданных, запущенная на текущем компьютере, удалите ее.
4. Проверьте, можно ли переместить или подключить целевое устройство метаданных к новому компьютеру. Если это так, смонтируйте его в каталог новой машины и убедитесь, что он настроен для монтирования во время загрузки.
5. В противном случае, если целевое устройство метаданных не может быть перемещено или подключено к новой машине, скопируйте данные из резервной копии (или с устройства, перемонтированного в другое место) на запоминающее устройство новой машины.
6. Убедитесь, что служба метаданных уже установлена ​​на новом компьютере.Если нет, установите его. Если служба метаданных уже установлена ​​на новом сервере, настройте службу для работы в многорежимном режиме. Не запускайте службу на этом этапе.
7. Затем отредактируйте файл /etc/beegfs/beegfs-meta.conf на новом компьютере и добавьте путь к перемещенной цели метаданных в параметр storeStorageDirectory. Если служба настроена для работы в многорежимном режиме, будьте осторожны, чтобы использовать файл конфигурации и каталог правильного экземпляра.
8. Убедитесь, что файл nodeID существует в каталоге службы и содержит идентификатор, который демон службы метаданных должен использовать для идентификации себя со службой управления.Если файл не существует, просто создайте его с тем же содержимым, что и файл originalNodeID.
9. Запустить или перезапустить службу метаданных.

    $ перезапуск службы beegfs-meta 

10. Проверить, правильно ли работает цель.

• Проверьте, нет ли в файлах журнала сообщений об ошибках.

   $ меньше /var/log/beegfs-mgmtd.log
  $ меньше /var/log/beegfs-meta.log
  $ меньше /var/log/beegfs-storage.log
  $ меньше /var/log/beegfs-client.log 

• Перечислите все узлы метаданных вашей системы и проверьте, отображается ли перемещенный узел в сети.

   $ beegfs-ctl --listnodes --nodetype = meta --reachable 

Как перенести службу управления на другой сервер?

1. Во-первых, мы предлагаем простои для переноса цели управления на новый сервер!
2. Остановить службу управления на текущем компьютере. Если служба настроена для работы в многорежимном режиме, будьте осторожны, чтобы остановить нужный экземпляр.

    $ сервис beegfs-mgmtd stop
   $ umount / data / ssd 

3. Если вам не нужна служба управления, запущенная на текущем компьютере, удалите ее.
4. Убедитесь, что запоминающее устройство, на котором находится каталог управления, можно переместить или подключить к новому компьютеру. Если это так, размонтируйте его, переместите, смонтируйте в каталог новой машины и убедитесь, что он настроен для монтирования во время загрузки. Каталог управления определяется опцией storeMgmtdDirectory в файле / etc / beegfs / beegfs-mgmtd.конф.
5. В противном случае, если устройство не может быть перемещено или подключено к новой машине, скопируйте каталог управления из резервной копии (или с устройства, перемонтированного в другом месте) в раздел новой машины.
6. Убедитесь, что служба управления уже установлена ​​на новом компьютере. Если нет, установите его. Не запускайте службу на этом этапе. Если служба управления уже установлена ​​на новом сервере, настройте службу для работы в многорежимном режиме.
7. Затем отредактируйте файл /etc/beegfs/beegfs-mgmtd.conf на новом компьютере и установите для параметра storeMgmtdDirectory путь к каталогу службы управления. Если служба настроена для работы в многорежимном режиме, будьте осторожны, чтобы использовать файл конфигурации и каталог правильного экземпляра.
8. Убедитесь, что файл nodeID существует в каталоге службы и содержит идентификатор, который демон службы управления должен использовать для идентификации. Если файл не существует, просто создайте его с тем же содержимым, что и файл originalNodeID.
9. Если новый компьютер имеет другое имя хоста, отредактируйте файл конфигурации каждой другой службы BeeGFS, запущенной в вашей системе, которые связаны с этой службой управления, и запишите новое имя хоста в качестве значения параметра sysMgmtdHost.
10. Убедитесь, что новый компьютер доступен с других серверов BeeGFS, особенно если вы используете параметры конфигурации клиента connInterfacesFile или connNetFilterFile для ограничения того, какие сетевые интерфейсы могут использоваться службами BeeGFS.Его IP-адрес может быть изменен по своему усмотрению, поскольку BeeGFS не ведет записи таких адресов.
11. Запустить или перезапустить службу управления.

     $ перезапуск службы beegfs-mgmtd 

12. Проверить, правильно ли работает цель.

• Проверьте, нет ли в файлах журнала сообщений об ошибках.

   $ меньше /var/log/beegfs-mgmtd.log
  $ меньше /var/log/beegfs-meta.log
  $ меньше /var/log/beegfs-storage.log
  $ меньше /var/log/beegfs-client.log 

• Перечислите все узлы управления вашей системы и проверьте, отображается ли перемещенный узел в сети.

   $ beegfs-ctl --listnodes --nodetype = mgmt --reachable 

Могу ли я экспортировать BeeGFS через Samba / CIFS для подключения хостов Windows?

1. Настройте клиентский хост BeeGFS в качестве сервера Samba. Убедитесь, что вы используете как минимум:

• BeeGFS 2015.03-r12, который содержит оптимизацию для Samba, и
• Samba 4.2, который содержит оптимизацию для BeeGFS.

 [beegfs]
comment = Файловая система BeeGFS
общественность = да
путь = / mnt / beegfs
browsable = да
Writable = да
только чтение = нет 

1. Добавьте следующие определения в файл /etc/samba/smb.conf.

    [весь мир]
   ...
   кластеризация = да
   имя netbios = BeeGFS *
   кластеризация = да
   ...
   Конфигурация idmap *: backend = autorid
   Конфигурация idmap *: диапазон = 1000000-1999999
   ...
   vfs objects = fileid
   fileid: алгоритм = fsid
   
   [BeeGFS]
   ...
   строгая блокировка = да
   oplocks ядра = да
   блокирующие замки = да
   mmap = нет 

2. При настройке диспетчера кластеров CTDB добавьте следующие параметры в файл / etc / default / ctdb.

    CTDB_RECOVERY_LOCK = / mnt / beegfs /.ctdb / reclock
   CTDB_NODES = / etc / ctdb / nodes
   CTDB_PUBLIC_ADDRESSES = / etc / ctdb / public_addresses
   CTDB_MANAGES_SAMBA = да
   CTDB_SERVICE_SMB = smbd
   CTDB_SERVICE_NMB = nmbd 

3. Для версий Samba> 4.8 опция CTDP_RECOVERY_LOCK опции блокировки восстановления перемещена в /etc/samba/smb.conf, где должна быть добавлена ​​следующая запись:

    [кластер]
   блокировка восстановления = /mnt/beegfs/.ctdb/reclock 

4. Включите глобальный файл и добавьте блокировки в BeeGFS, изменив следующие параметры в файле конфигурации клиента BeeGFS / etc / beegfs / beegfs-client.конф.

    tuneUseGlobalAppendLocks = true
   tuneUseGlobalFileLocks = true 

5. Настройте файлы / etc / ctdb / nodes и / etc / ctdb / public_adresses в соответствии со средой.

Подсказки

1. Рассмотрите возможность экспорта BeeGFS через NFS, который обычно имеет лучшую производительность, чем Samba, и поддерживается последними версиями Windows.
2. Если вы используете клиенты Windows Samba, рассмотрите возможность добавления опции case sensitive = true в определение общего ресурса выше, чтобы сделать экспорт BeeGFS чувствительным к регистру.Этот параметр положительно влияет на производительность клиента, поскольку поиск без учета регистра выполняет меньше системных вызовов в экспортированной файловой системе.
3. Другой способ повысить производительность клиентов Windows, но сохранить экспорт BeeGFS без учета регистра для имен файлов ASCII, — это сохранить метаданные BeeGFS в разделе XFS без учета регистра, отформатированном с помощью команды mkfs.xfs с параметром -n version = ci, как показано в примере ниже. Это позволяет теперь установить параметр Samba, чувствительный к регистру = true, как было предложено выше, чтобы Samba выполняла меньше системных вызовов в экспортированной файловой системе.Однако это означает, что все имена файлов не чувствительны к регистру, даже для клиентов Linux.

    $ mkfs.xfs -d su = 128k, sw = 8 -l версия = 2, su = 128k -isize = 512 -n версия = ci / dev / sdx -f 

Могу ли я экспортировать BeeGFS через NFS?

Для обслуживания файлов через NFS настройте клиентский хост BeeGFS как сервер NFS и повторно экспортируйте точку монтирования клиента BeeGFS через NFS.В системе сервера NFS установите следующий параметр beegfs-client.conf, чтобы атрибуты файлов обновлялись также и в дополнительных путях кода, чем на сервере NFS:

 tuneRefreshOnGetAttr = true 

Пример экспорта NFSv4 для NFS-сервера ядра в файле / etc / exports:

 / mnt / beegfs * (rw, async, fsid = 0, crossmnt, no_subtree_check, no_root_squash) 

Пример монтирования NFSv4:

 $ mount -t nfs -overs = 4 мой сервер: / / mnt / beegfs_via_nfs / 

Перед запуском сервера NFS ядра и монтированием клиента NFS отключите аренду файлов NFSv4, чтобы гарантировать, что NFS не будет держать файлы открытыми после того, как они были фактически закрыты приложением:

 $ sysctl -w fs.leases-enable = 0 

Чтобы аренда файлов NFSv4 также постоянно отключалась после перезагрузки сервера, добавьте следующую строку в /etc/sysctl.conf:

Обязательно запускайте сервер NFS после клиента BeeGFS. Если вы используете systemd,
добавьте этот файл в /etc/systemd/system/multi-user.target.wants/beegfs-client.service:

 До = nfs-server.service 

Важные примечания

• Ядро NFSv3 имеет некоторые ограничения, которые не позволяют BeeGFS поддерживать его.Например, клиенты NFS обмениваются файлами cookie с серверами для идентификации файлов, когда они больше не находятся в кэше сервера. Максимальный размер таких файлов cookie в NFS 3 слишком мал для кодирования информации поиска записи BeeGFS. В NFS 4 был увеличен максимальный размер файлов cookie, что позволило BeeGFS использовать файлы cookie NFS. Хотя экспорт ядра NFS 3 может иногда работать в вашей системе, в конечном итоге они, скорее всего, выйдут из строя, как только будут использованы файлы cookie (то есть, когда сервер NFS начнет отбрасывать записи из своего кеша, а информация cookie необходима для поиска).Итак, убедитесь, что вы используете ядро ​​NFS версии 4.

• Рекомендуется ограничить версии протокола NFS, используемые в вашей системе, как описано в разделе A4 документации NFS. Лучший способ сделать это — добавить определение RPCMOUNTDOPTS = «- no-nfs-version 3» в файл / etc / sysconfig / nfs, который читается сценарием /etc/rc.d/init.d/ nfs.

• Помните, что отключения NFS 3 в конфигурации сервера и даже перезапуска сервера NFS может быть недостаточно для принудительного применения NFS 4 в вашей сети, потому что NFS хранит разрешенные соединения и сеансы на диске.Таким образом, при перезапуске сервера NFS разрешенные соединения загружаются с диска, и, таким образом, старым клиентам NFS все еще может быть разрешено переподключение через NFS 3. Только после перезапуска всех клиентов NFS NFS 4 действительно будет использоваться всеми частями.

Есть ли у BeeGFS ограничение на максимальное количество групп на пользователя?

Поддерживает ли BeeGFS жесткие ссылки?

Поддерживает ли BeeGFS MPI-IO?

Где я могу найти информацию о том, почему не удается установить BeeGFS на основе Admon?

• Файл журнала установки на сервере: вы можете прочитать его, выбрав «Установка» -> «Файл журнала установки» «в графическом интерфейсе
• Файл журнала графического интерфейса Java: этот файл журнала хранится в каталоге «.beegfs в вашем домашнем каталоге (beegfs-admon-gui.log).

Мы не используем ни один из дистрибутивов, для которых вы предоставляете пакеты. Что мы можем сделать, чтобы попробовать BeeGFS?

Или вы можете просто собрать BeeGFS из исходного кода: BeeGFS Source Download

Должен ли я быть «root» для запуска BeeGFS?

Можно ли запускать серверы хранения и клиенты на одной машине?

Можно ли запустить несколько экземпляров службы BeeGFS на одном компьютере?

Если вы используете BeeGFS версии 7 или новее и ваша система использует systemd, шаблоны служб используются для управления несколькими экземплярами
. Сценарии инициализации не используются при установке systemd.

Начиная с серии выпуска 2012.10, стандартные сценарии инициализации службы BeeGFS (/etc/init.d/beegfs-XY) могут управлять несколькими экземплярами одного и того же демона на машине. Чтобы включить поддержку для этого, см. Комментарий к MULTI_MODE в / etc / default / beegfs-XY.

Для многорежимного режима вам потребуется создать отдельный файл конфигурации для другого экземпляра демона, используя другие сетевые порты, другой каталог хранилища, другой файл журнала и т. Д. Если второй экземпляр демона на машине должен стать частью того же экземпляра файловой системы (т.е. он регистрируется в том же демоне управления, что и первый экземпляр демона на этом компьютере), тогда вам также потребуется вручную установить другой NodeID для второго экземпляра демона. (См. Раздел «Конфигурация и настройка» на этой странице для получения информации о том, как вручную установить NodeID.)

Для клиента также доступен многорежимный режим, но файл конфигурации монтирования клиента (/ etc / beegfs / beegfs-mounts .conf) также позволяет указать несколько точек монтирования без включенного многорежимного режима, добавив одну или несколько дополнительных строк точки монтирования и соответствующего файла конфигурации клиента.(Примечание: обязательно укажите разные клиентские порты в разных файлах конфигурации клиента.)

Сценарий BeeGFS-on-demand (/ opt / beegfs / sbin / beegfs-ondemand-v2) из ​​пакета beegfs-utils является еще одним возможным способ запустить отдельный экземпляр BeeGFS, особенно для каждого задания для кластеров или в облачных средах.

Возможно ли, чтобы службы BeeGFS и FhGFS работали на одних и тех же машинах?

Каждая версия будет работать как отдельный экземпляр файловой системы, и соответствующие службы не смогут взаимодействовать друг с другом. У них будут разные файлы конфигурации (расположенные в / etc / fhgfs и / etc / beegfs), разные сценарии запуска (например: /etc/init.d/fhgfs-client и /etc/init.d/beegfs-client), разные команды (например: fhgfs-ctl и beegfs-ctl) и, конечно же, должны монтироваться клиентами по разным путям (по умолчанию: / mnt / fhgfs и / mnt / beegfs).

После установки пакетов новой версии убедитесь, что порты, используемые службами одного экземпляра, отличаются от портов, используемых службами другого экземпляра.Эти порты определяются в верхней части файла конфигурации каждой службы. Например, в файле /etc/beegfs/beegfs-client.conf вам нужно будет изменить параметры connClientPortUDP и connHelperdPortTCP, чтобы предотвратить попытки beegfs-client и beegfs-helperd использовать те же порты, что и fhgfs-client и fhgfs- помощник.

В качестве альтернативы, вместо изменения каждого порта по отдельности, вы можете использовать опцию connPortShift для одновременного сдвига всех портов, определенных в файле конфигурации, в соответствии с указанным значением.

Обратите внимание, что установка новой версии не требует остановки служб старой версии. Следовательно, простоя не требуется.

Нужно ли мне специальное ядро ​​Linux для BeeGFS?

Начиная с BeeGFS версии 7.2 и далее, вводится новая политика поддержки ядра. Мы поддерживаем только последние основные ядра LTS, а также самые последние из них, которые поставляются с официально поддерживаемыми нами дистрибутивами (это RHEL / CentOS, SLES, Debian и Ubuntu). Это дает несколько преимуществ:

• Значительно сокращенный список ядер позволяет команде разработчиков сосредоточиться на поддерживаемых ядрах и убедиться, что они действительно работают. В отличие от предыдущего, каждый из них можно тщательно протестировать.
• В модуле ядра можно удалить много условного кода, что повышает качество кода и упрощает обслуживание.
• Мы можем отправить модуль как бинарный, так что весь процесс компиляции при запуске может уйти. Это также означает, что вам больше не нужно устанавливать пакеты для разработки.
• Диспетчер пакетов заботится о зависимостях, автоматически выбирает правильную версию и гарантирует, что вы никогда не сломаете клиент, обновив что-либо до неподдерживаемой версии (например,грамм. ядро).

Нужна ли BeeGFS синхронизация времени между разными машинами?

Как обновить сервис BeeGFS до более новой младшей версии?

Как перейти с одной основной серии выпусков BeeGFS на другую?

Могу ли я выполнить обновление напрямую с версии 2014.01 до версии 6.x?

 $ beegfs-check-серверов
$ beegfs-df
$ beegfs-ctl --listtargets --state --nodetype = meta
$ beegfs-ctl --listtargets --state --nodetype = хранилище 

Теперь вы можете остановить службы BeeGFS и продолжить обновление до версии 6.x. (Остальные клиентские узлы можно обновить прямо с версии 2014.01 к выпуску v6).

Почему я получаю ошибку «Доступ запрещен» на клиенте даже с правильными разрешениями?

Как мне настроить BeeGFS для использования списков контроля доступа?

Кроме того, на клиентских узлах должно быть установлено ядро ​​Linux версии 3.1 или выше. Средства обеспечения соблюдения ACL, необходимые для BeeGFS, не поддерживаются более старыми версиями ядра.

После этого убедитесь, что вы используете по крайней мере версию BeeGFS 2015.03-r13, которая полностью поддерживает ACL. Затем отредактируйте файл конфигурации метаданных (/etc/beegfs/beegfs-meta.conf) и проверьте, установлены ли для следующих параметров значение true.

 storeUseExtendedAttribs = true
storeClientXAttrs = true
storeClientACLs = истина 

Затем отредактируйте файл конфигурации клиента (/etc/beegfs/beegfs-client.conf) и проверьте, установлено ли для следующих параметров значение true.

 sysXAttrsEnabled = истина
sysACLsEnabled = истина 

Сколько места на диске требуется для метаданных?

Как правило, мы рекомендуем иметь от 0,3% до 0,5% от общей емкости хранилища для метаданных. Однако это число основано на собранной статистике файловых систем на разных сайтах кластера и поэтому может подходить или не подходить для вашего случая. Иногда это также слишком много, поэтому вы можете начать с меньшего объема метаданных и просто быть готовым добавить больше объема метаданных, если оно действительно понадобится позже.

Как правило, 500 ГБ емкости метаданных достаточно для примерно 150 миллионов файлов, если базовое хранилище метаданных отформатировано с помощью ext4 в соответствии с рекомендациями в руководстве по настройке сервера метаданных: Настройка сервера метаданных

Более конкретно, для каждого файла, создаваемого пользователем, на одном из серверов метаданных создается один файл метаданных.Для каждого каталога, создаваемого пользователем, на одном из серверов метаданных создаются два каталога и два файла метаданных.

Для метаданных файлов, если базовая файловая система локального сервера метаданных (например, ext4) отформатирована в соответствии с нашими рекомендациями с большими индексными дескрипторами (например, «mkfs.ext4 -I 512», как описано здесь: Настройка сервера метаданных), тогда метаданные BeeGFS as расширенный атрибут полностью помещается в индексный дескриптор базовой локальной файловой системы и не использует дополнительное дисковое пространство.Если базовая файловая система сервера метаданных не отформатирована с использованием больших inodes, тогда базовой локальной файловой системе потребуется выделить полный блок (обычно 4 КБ) для хранения информации метаданных BeeGFS в дополнение к использованию одного inode.

Списки управления доступом (ACL) и пользовательские расширенные атрибуты также сохраняются как расширенные атрибуты в соответствующих файлах метаданных и, таким образом, добавляют к требуемому пространству на диске, в зависимости от того, вписываются ли они в индексный дескриптор или нужно ли выделить новый блок. .

Для каждого каталога один индексный дескриптор и один блок содержимого каталога (обычно 4 КБ) используются в базовой локальной файловой системе до тех пор, пока в каталоге не будет так много подстатей, что другой блок содержимого каталога должен быть выделен базовой файловой системой. Сколько записей помещается в один блок, зависит от таких вещей, как длина имени файла пользователя, но обычно в один блок каталога помещается более 10 записей.
Итак, если пользователь создает, например, много каталогов с одним файлом внутри, это значительно увеличит используемое количество inodes и дисковое пространство в базовой локальной файловой системе по сравнению со случаем, когда такое же количество файлов хранится в меньшем количестве каталогов.

Обратите внимание, что, хотя ext4 обычно рекомендуется для хранения метаданных из-за его преимуществ в производительности для рабочих нагрузок метаданных BeeGFS по сравнению с другими локальными файловыми системами Linux, xfs имеет преимущество использования динамического числа inodes, что означает, что новые inodes могут создаваться до тех пор, пока есть свободное место на диске. ext4, с другой стороны, основан на статическом числе максимального количества inodes, которое определяется, когда файловая система форматируется с помощью mkfs (например, «mkfs.ext4 -i «). Таким образом, с ext4 может случиться так, что у вас осталось дисковое пространство, но закончились доступные inodes, или наоборот.Используйте «df -ih», чтобы просмотреть информацию о доступных индексных дескрипторах для смонтированных файловых систем.

Сообщение об ошибке BeeGFS 6.18 и RHEL 7.5 (CentOS, SL): не каталог

Клиент BeeGFS v6.18 или v7.0 не собирается с драйверами Mellanox OFED 4.3. Что я могу делать?

Клиент BeeGFS версии 7.1.2 не собирается с драйверами Mellanox OFED 4.5. Что я могу делать?

Как мне настроить и использовать клиентский пакет DKMS?

Где я могу найти рекомендации по настройке системы?

Как удалить узел из существующей файловой системы?

• $ beegfs-ctl —removenode —nodetype = meta (для узел метаданных)
• $ beegfs-ctl —removenode —nodetype = storage (для узла хранения)

Можно ли освободить целевое хранилище перед удалением?

 $ beegfs-ctl --migrate --help 

Миграция выполняется на основе каталогов и в настоящее время является однопоточным, поэтому один экземпляр миграции может работать значительно ниже возможностей оборудования.Можно запустить несколько не мешающих работе экземпляров «beegfs-ctl —migrate» на одном и том же клиенте (или разных клиентах) для разных деревьев каталогов, например один экземпляр для / mnt / beegfs / subdir1 и другой экземпляр для / mnt / beegfs / subdir2.

Кроме того, важно убедиться, что переносимые файлы не изменяются во время процесса. В противном случае изменения в файлах во время миграции могут быть потеряны, поскольку миграция сначала создает полную копию файла, а затем удаляет исходный файл.Один из вариантов — смонтировать файловую систему как доступную только для чтения, чтобы пользователи могли продолжать читать свои данные во время миграции.

Могу ли я настроить аутентификацию на основе соединения?

Обратите внимание, что без аутентификации на основе соединения можно смонтировать экземпляр BeeGFS с любого компьютера, который может подключаться к вашим серверам. Поскольку BeeGFS полагается на аутентификацию пользователя на стороне клиента, пользователь root на любой машине рассматривается BeeGFS как пользователь root, и по расширению их файлы принадлежат root на всех машинах, на которых установлена ​​одна и та же BeeGFS. Это может включить повышение привилегий. Поэтому мы советуем вам включать аутентификацию на основе подключения в каждом случае, когда администратор не имеет полного контроля над сетью и всеми клиентскими машинами.

Пример:
1. создать файл, содержащий общий секрет

 $ vi / и т.д. / beegfs / connauthfile
$ cat / etc / beegfs / connauthfile
test_secret 

 $ systemctl перезапуск beegfs-mgmtd.service
$ systemctl перезапуск beegfs-meta.service
$ systemctl перезапуск beegfs-storage.service
$ systemctl перезапуск beegfs-client.service
$ systemctl перезапуск beegfs-admon.service
$ systemctl перезапуск beegfs-mon.service 

После правильного перезапуска всех служб ни один клиент без общего секретного файла не сможет подключиться к кластеру.

Без общего секретного файла mgmtd будет регистрировать:

 (4) 13 мая, 14:49:33 StreamLis [StreamLis] >> Принято новое соединение от 192.168.133.7: 36082 [SockFD: 32]
(3) 13 мая, 14:49:33 DirectWorker1 [Работа (обработка входящих данных)] >> Отклонение сообщения от неаутентифицированного однорангового узла: 192.168.133.7:36082
(3) 13 мая, 14:49:33 DirectWorker1 [Работа (обработка входящих данных)] >> Ошибка при обработке сообщения. Отключение: 192.168.133.7:36082 

Я провел небольшое тестирование и хочу начать все сначала. Есть ли простой способ удалить все остатки из старой файловой системы?

1. Остановите все клиенты и серверы (через графический интерфейс Admon или через / etc / init.d / beegfs-X stop)
2. Удалите каталоги данных серверов метаданных, серверов хранения и демона управления (это каталоги с именем «store … Directory» в соответствующих файлах конфигурации /etc/beegfs/beegfs-X.conf)
3. Снова запустить все серверы и клиенты

Мои хосты имеют более одного сетевого интерфейса. Есть ли способ настроить BeeGFS для использования только определенных интерфейсов или определенных сетей?

• В конфигурационном файле каждой службы есть опция connNetFilterFile.Его можно использовать для активации фильтрации на основе диапазона IP-адресов. Этот параметр разрешит исходящие попытки подключения службы BeeGFS только к набору указанных IP-адресов, что полезно, если клиент (или другая служба) не должен пытаться подключиться к определенным экспортированным IP-адресам интерфейса другого узла, например потому что некоторые IP-адреса интерфейсов могут быть недоступны из текущей сети или предназначены только для внутреннего использования.
• В конфигурационном файле каждой службы есть опция connInterfacesFile.Указав здесь файл со списком интерфейсов (по одному в каждой строке), вы можете контролировать, какие интерфейсы служба BeeGFS регистрирует в управляющем демоне и в каком порядке они должны проверяться при попытках подключения другими узлами. Например, если на вашем узле есть eth0 и eth2, но вы добавляете только eth2 в файл интерфейсов, тогда другие серверы / клиенты не будут знать, что для этого сервера есть другой интерфейс, и, следовательно, не будут пытаться подключиться к другому интерфейсу.

Можно ли принудительно установить определенный идентификатор узла или целевой идентификатор для серверов BeeGFS?

$ / opt / beegfs / sbin / beegfs-setup-XY
(добавьте аргумент «-h» для справки и примеров использования.)

• Строковый идентификатор узла. По умолчанию для этого используется имя хоста.
• Числовой идентификатор. По умолчанию этот идентификатор последовательно генерируется демоном управления в 2015 году.x и более поздних версий (и генерируются случайным образом в выпусках 2014.x).
• Числовые идентификаторы — это 16-битные значения в диапазоне 1..65535.

Каждый демон сервера BeeGFS во время запуска проверяет наличие специальных файлов в каталоге своего хранилища.Чтобы заставить определенные идентификаторы вместо их автоматического создания, вы должны создать эти специальные файлы перед первым запуском демона сервера BeeGFS.
Имена этих специальных файлов:

• nodeID: строковый идентификатор узла
.
• nodeNumID: числовой идентификатор узла
• targetID: строковый идентификатор цели (только для целей сервера хранения)
• targetNumID: числовой идентификатор цели (только для целей сервера хранения)

$ echo storage01> / mnt / myraid / beegfs_storage / nodeID
$ echo 1> / mnt / myraid / beegfs_storage / nodeNumID
$ echo target01> / mnt / myraid / beegfs_storage / targetID
$ echo 1> / mnt / myraid targetNumID

$ beegfs-ctl —listnodes —nodetype = хранилище
$ beegfs-ctl —listtargets —longnodes

• Эти идентификаторы являются важной частью всех поисков в BeeGFS. Не меняйте идентификаторы после запуска демона в первый раз (иначе BeeGFS больше не сможет извлекать данные, которые были сохранены на основе старого идентификатора).
• Идентификатор должен быть только уникальным в своем классе.Таким образом, демон сервера метаданных и демон сервера хранения могут иметь один и тот же идентификатор узла, но два сервера метаданных (или два сервера хранения) могут не использовать один и тот же идентификатор.
Числовые идентификаторы
• были введены в серии выпуска 2012.10. До этого существовали только строковые идентификаторы.
• Строковые идентификаторы и числовые идентификаторы прочно связаны. Невозможно изменить строковый идентификатор, по-прежнему используя старый числовой идентификатор.

Что нужно сделать, если имя хоста сервера изменилось?

Обратите внимание, что по умолчанию идентификаторы узлов создаются на основе имени хоста сервера. Поскольку идентификаторы не могут изменяться, см. Здесь информацию о том, как вручную вернуть для идентификатора предыдущее значение: «Можно ли принудительно установить определенный идентификатор узла или целевой идентификатор для серверов BeeGFS?»

Мой клиент отказывается подключаться из-за «неизвестной цели хранилища»

Что случилось с вашей файловой системой: Когда вы запускаете новый демон beegfs-storage с заданным каталогом хранилища, демон инициализирует этот каталог, назначая идентификатор этому целевому пути хранилища и регистрируя этот targetID на сервере управления.
Когда вы удаляете этот каталог, сервер хранения создает новый каталог при следующем запуске с новым идентификатором, а также регистрирует этот идентификатор на сервере управления.(Поскольку сервер хранения не может знать, что случилось со старым каталогом и могли ли вы только что переместить данные на другой компьютер, поэтому ему нужен новый идентификатор здесь.)

Когда клиент запускается, он выполняет проверку работоспособности, запрашивая все регистрирует targetID с сервера управления и проверяет, все ли они доступны. Если вы удалили каталог хранилища, эта проверка завершится неудачно, и клиент откажется монтироваться. (Примечание: эту проверку работоспособности можно отключить, но в данном случае это определенно хорошо и избавит вас от дополнительных проблем.)

Теперь у вас есть два альтернативных варианта …

Решение A: Просто удалите каталоги хранения всех служб BeeGFS, чтобы начать работу с новой чистой файловой системой:

1) Остановите все демоны сервера BeeGFS, т.е. beegfs-mgmtd , beegfs-meta, beegfs-storage:

$ /etc/init.d/beegfs -… stop (или используйте графический интерфейс Admon).

• storeMgmtdDirectory в файле конфигурации / etc / beegfs / beegfs-mgmtd.conf
• storeMetaDirectory в файле конфигурации /etc/beegfs/beegfs-meta.conf
• storeStorageDirectory в файле конфигурации /etc/beegfs/beegfs-storage.conf

Теперь у вас есть новая файловая система без каких-либо ранее зарегистрированных идентификаторов targetID.

Решение Б. Отмените регистрацию недопустимого идентификатора цели на сервере управления:
Для этого сначала используйте инструмент beegfs-ctl (инструмент является частью пакета beegfs-utils на клиенте), чтобы вывести список зарегистрированных идентификаторов целей:

$ beegfs-ctl —listtargets —longnodes

$ beegfs-ctl —removetarget <идентификатор цели>

Примечание. В файлах конфигурации сервера есть параметры, запрещающие инициализацию новых каталогов хранилища и регистрацию новых серверов или целей, которые не установлены по умолчанию, но должны быть установлены для производственных сред.См. StoreAllowFirstRunInit и sysAllowNewServers.

Что произойдет, если я удалю файл, который все еще используется процессом?

Однако, если на сервере метаданных происходит сбой, и эти процессы не имеют возможности закрыть файлы, записи удаления не будут удалены. Чтобы удалить такие записи удаления, вы можете выполнить команду ниже.

 $ beegfs-ctl --disposeunused --printstats --dispose 

 [1-573EC7CC-C] Файл все еще используется 

 $ lsof | grep "(удален)" 

В случае сбоя клиентского узла или его перезагрузки файлы удаления будут удалены сервером метаданных примерно через 30 минут, когда клиентский узел будет помечен как мертвый.

Можно ли отключить использование RDMA службами BeeGFS для определенного сетевого интерфейса?

Да, это так. Используйте параметр connTcpOnlyFilterFile, чтобы задать путь к текстовому файлу, в котором указаны IP-подсети, в которых RDMA должен быть отключен для исходящей связи. Добавьте параметр в файл конфигурации демона сервера или клиента, как показано ниже.

 connTcpOnlyFilterFile = /etc/beegfs/tcp-only-interfaces.conf 

Могу ли я предотвратить создание новых файлов в определенных хранилищах или целевых объектах метаданных?

Если целевой каталог вашего хранилища (storeStorageDirectory в beegfs-storage.conf), например, / mnt / myraid / beegfs_storage, тогда вы должны использовать это:

 $ echo 0> /mnt/myraid/beegfs_storage/free_space.override 

Если ваш целевой каталог метаданных (storeMetaDirectory в beegfs-meta.conf), например, / beegfs / meta, тогда вы должны использовать это:

 $ эхо 0> / beegfs / meta / free_space.переопределить 

Что делать, если мой beegfs-storage сообщает о слишком большом количестве открытых файлов?

Существуют ограничения для каждого процесса и общесистемные ограничения (учитывающие все процессы на машине вместе), чтобы контролировать, как многие файлы могут быть открыты одновременно на хосте.

Чтобы избежать одновременного открытия слишком большого количества файлов приложениями и убедиться, что такие проблемы приложений не влияют на серверы, имеет смысл снизить лимит на процесс для обычных приложений обычных пользователей до достаточно низкого значения, например.грамм. 1024 через параметр «nofile» в «/etc/security/limits.conf».

Если вашим приложениям действительно нужно открывать много файлов одновременно и вам нужно поднять лимит в службе beegfs-storage, вот шаги, чтобы сделать это:

1) Вы можете проверить текущий лимит для максимальное количество открытых файлов в файловой системе «/ proc», например для запуска процессов beegfs-storage на машине:

 $ за i в `pidof beegfs-storage`; делать cat / proc / $ i / limits | grep open; Выполнено
Максимальное количество открытых файлов 50000 50000 файлов 

2) Процессы beegfs-storage и beegfs-meta могут попытаться увеличить свои собственные ограничения с помощью параметра конфигурации «tuneProcessFDLimit» «, но это будет зависеть от жестких ограничений, которые были определены для системы.Если службе beegfs-storage не удается увеличить собственный лимит, она выводит строку сообщения в свой файл журнала («/var/log/beegfs-storage.log»).
Установите следующее в «/etc/beegfs/beegfs-storage.conf», чтобы служба beegfs-storage попыталась увеличить свой собственный лимит до 10 миллионов файлов:

 tuneProcessFDLimit = 10000000 

3) Вы можете увеличить общесистемные ограничения (ограничения, которые учитывают все процессы вместе) до 20 миллионов во время выполнения, используя следующие команды:

 $ sysctl -w fs.файл-макс = 20000000
fs.file-max = 20000000
$ sysctl -w fs.nr_open = 20000000
fs.nr_open = 20000000 

4) Сделайте изменения из предыдущего шага постоянными при перезагрузках, добавив следующие строки в «/etc/sysctl.conf» (или соответствующий файл в подкаталоге «/etc/sysctl.d»):

 fs.file-max = 20000000
fs.nr_open = 20000000 

5) Добавьте следующую строку в «/etc/security/limits.conf» (или соответствующий файл в подкаталоге «/etc/security/limits.d»), чтобы увеличить ограничение на процесс до 10 миллионов.
Если этот сервер используется не только для BeeGFS, но и для других приложений, вы можете установить его только для процессов, принадлежащих пользователю root.

6) Теперь вам нужно закрыть текущую оболочку и снова открыть новую оболочку в системе, чтобы новые настройки вступили в силу. Затем вы можете перезапустить процесс beegfs-storage из новой оболочки и посмотреть на его пределы:

 $ за i в `pidof beegfs-storage`; делать cat / proc / $ i / limits | grep open; Выполнено
Максимальное количество открытых файлов 10000000 10000000 файлов 

Как узнать, к какому файлу относится определенный фрагмент хранилища? (V6.х)

Эту информацию можно получить, выполнив приведенные ниже команды, чтобы просканировать все файлы в BeeGFS, записать их пути и идентификаторы блоков в текстовый файл, а затем выполнить поиск информации, связанной с идентификатором блока.

 $ find / mnt / beegfs -type f | beegfs-ctl --getentryinfo --verbose -> / tmp / entryinfo.текст
$ grep -B 11 "5C-58DD2BB9-2" /tmp/entryinfo.txt 

Другой способ сделать это — использовать сторонний инструмент, такой как beegfs-chunk-map, для создания идентификаторов блоков базы данных, отображающих пути к файлам, которые можно запросить позже.

Как на BeeGFS влияют Spectra и Meltdown?

Как изменить секрет в уже защищенном кластере

1. Создайте новый файл connauthfile

 $ [root @ client ~] # cat / etc / connauthfile_new
$ test_test_pscp 

2. Создайте файл со списком хостов для раздачи:

 $ [root @ client ~] # cat /etc/beegfs/myscphosts.txt
$ mgmtd
$ мета
$ хранилище
$ хранилище-2
$ клиент
$ [root @ client ~] # 

3. Остановите все запущенные помощники и клиенты BeeGFS на всех хостах в / etc / beegfs / myscphosts.txt

 $ [root @ client ~] # pssh -h /etc/beegfs/myscphosts.txt -l root systemctl stop beegfs-helperd
$ [1] 17:18:43 [УСПЕХ] мета
$ [2] 17:18:43 [УСПЕХ] управление
$ [3] 17:18:43 [УСПЕХ] хранилище
$ [4] 17:18:43 [УСПЕХ] хранилище-2
$ [5] 17:18:43 [УСПЕХ] клиент
$ [root @ client ~] # pssh -h /etc/beegfs/myscphosts.txt -l root systemctl остановить beegfs-client
$ [1] 16:56:12 [УСПЕХ] мета
$ [2] 16:56:12 [УСПЕХ] хранилище
$ [3] 16:56:13 [УСПЕХ] клиент
$ [4] 16:56:13 [УСПЕХ] хранилище-2
$ [5] 16:56:13 [УСПЕХ] управление
$ [root @ client ~] # 

4.Скопируйте новый файл на все хосты в /etc/beegfs/myscphosts.txt

 $ [корень @ клиент ~] # pscp.pssh -h /etc/beegfs/myscphosts.txt -l root -Av / etc / connauthfile_new / etc / beegfs / connauthfile
$ [1] 16:56:12 [УСПЕХ] мета
$ [2] 16:56:12 [УСПЕХ] хранилище
$ [3] 16:56:13 [УСПЕХ] клиент
$ [4] 16:56:13 [УСПЕХ] хранилище-2
$ [5] 16:56:13 [УСПЕХ] управление
$ [root @ client ~] # 

5. Перезапустите службы сервера в следующем порядке:

 $ [root @ mgmtd ~] # перезапуск systemctl beegfs-mgmtd
$ [root @ meta ~] # перезапуск systemctl beegfs-meta
$ [root @ storage ~] # systemctl перезапуск beegfs-storage
$ [root @ storage-2 ~] # systemctl перезапуск beegfs-storage 

6.Запустите все помощники и клиенты BeeGFS на всех хостах в /etc/beegfs/myscphosts.txt:

 $ [root @ client ~] # pssh -h /etc/beegfs/myscphosts.txt -l root systemctl start beegfs-helperd
$ [1] 17:21:02 [УСПЕХ] хранилище
$ [2] 17:21:02 [УСПЕХ] хранилище-2
$ [3] 17:21:02 [УСПЕХ] мета
$ [4] 17:21:02 [УСПЕХ] управление
$ [5] 17:21:02 [УСПЕХ] клиент
$ [root @ client ~] #
$ [root @ client ~] # pssh -h /etc/beegfs/myscphosts.txt -l root systemctl start beegfs-client
$ [1] 17:02:34 [УСПЕХ] управление
$ [2] 17:02:34 [УСПЕХ] мета
$ [3] 17:02:34 [УСПЕХ] клиент
$ [4] 17:02:34 [УСПЕХ] хранилище
$ [5] 17:02:34 [УСПЕХ] хранилище-2
$ [root @ client ~] # 

7.Проверить доступ к BeeGFS:

SSD: соревнуются Samsung, Crucial, Plextor и Kingston | Computing

При всем шуме о том, как прошлогодние наводнения в Таиланде разрушили индустрию жестких дисков, и о последних усилиях Intel по разработке ультрабуков (ноутбуки, которые по своим требованиям обязаны иметь какой-то твердотельный диск, также известный как SSD, storage) пора действительно подумать о приобретении флеш-памяти для вашего ноутбука: это действительно придаст ему совершенно новую жизнь.

Еще лучше, если вы перейдете на более быструю машину, вы можете (при условии некоторой решимости) обычно взять диск со своей старой машины и пересадить его на новую.

Разница, которую дает SSD — особенно во время запуска, если вам приходится часто загружать компьютер, — огромна. Процессы запуска, которые обычно занимают минуту или около того, займут несколько секунд, потому что твердотельные накопители отлично справляются с чтением данных (хотя и хуже с записью из-за характеристик флэш-памяти).

Я протестировал четыре твердотельных накопителя по сравнению с тестами для двух жестких дисков (Maxtor от iMac и Toshiba от ноутбука). Для тестирования твердотельных накопителей я использовал тот же компьютер (MacBook 2008 года) с твердотельными накопителями, которые были обновлены до одного и того же статуса — емкость 256 ГБ, заполнение на 90%. Я запустил XBench на четырех дисках, чтобы откалибровать их.

Это было сделано (как советует XBench) при отсутствии других запущенных пользовательских процессов, хотя стоит отметить, что в реальной жизни вы не получите такой производительности, если у вас много запущенных процессов, потому что такие программы, как браузеры, обычно поглощают виртуальные память, что означает много страниц с жесткого диска (постарайтесь также иметь больше свободного места, чем у меня).Кстати, по слухам, Samsung SSD830 будет продуктом, который Apple будет использовать в следующем поколении своих ноутбуков MacBook Air.

Вот результаты. Если вы хотите больше узнать о последовательном v случайном чтении и записи, а также о том, почему у вас блоки разного размера, есть полезная страница в Википедии; Краткая версия заключается в том, что последовательное чтение и запись больше похоже на повседневную жизнь, особенно при передаче большого файла в хранилище или из него, в то время как произвольное чтение и запись являются более жесткими тестами на то, насколько хороши головки жесткого диска — или контроллер SSD — находятся в поиске мест в памяти.

Поскольку некоторые из них могут быть неясными, вот результаты, сведенные к лучшему в каждом классе (все для некэшированных данных):
Последовательная запись 4K: Samsung
Последовательная запись 256K: Решающая
Последовательная запись 4K: Samsung [Примечание : Maxtor HD здесь быстрее]
Последовательное чтение 256K: Crucial

Случайная запись 4K: Crucial
Случайная запись 256K: Kingston
Произвольное чтение 4K: Kingston
Произвольное чтение 256K: Crucial

Обратите внимание, что жесткий диск Maxtor на самом деле лучше на один тест, последовательное чтение 4K — хотя он почти на уровне лучших SSD в этом наборе, а в каждом другом классе жесткие диски превосходят его на милю; иногда результаты SSD в среднем более чем в 15 раз быстрее, чем у жесткого диска.

(В этом очень информативном блоге MSDN есть некоторое объяснение, почему в этом очень информативном блоге MSDN: в основном речь идет о конфигурации. Прочтите этот пост, чтобы понять больше, чем вы когда-либо думали, что хотели знать о кэшировании, сбросе и случайной записи.)

Итак, вот и все — накопитель Crucial выигрывает в большинстве категорий, в то время как Samsung и Kingston выигрывают по две. Удивительно, но Plextor не занимает первое место ни в одном из них.

Еще один момент: Windows 7 от Microsoft поставляется со встроенной поддержкой TRIM (которая выравнивает использование ячеек памяти в памяти SSD, которая в противном случае начинает со временем ухудшаться в точности — как и в любом случае). Если вы используете Vista или XP, здесь будет работать только диск Kingston из-за его встроенной поддержки TRIM.

Mac OS X от Apple не имеет такого же уровня поддержки, как Windows 7. Даже в 10.7 «Lion», который якобы имеет поддержку TRIM, вы обнаружите, что вам нужно внести некоторые изменения, чтобы все работало хорошо — иначе вы получите то, что я назвал «паузой TRIM», поскольку система аккуратно стирает большой кусок ненужной виртуальной памяти с SSD, чтобы освободить место при записи новой страницы виртуальной памяти.Это может вызвать паузы в несколько десятков секунд. Но этого можно полностью избежать, если вы будете следовать инструкциям, приведенным на этой странице.

Это действительно связано с использованием терминала, но поскольку установка SSD требует, чтобы вы все равно разобрали свою машину (если вы используете Mac, поищите в iFixit руководство с практическими рекомендациями), тогда вы должны чувствовать себя храбрым. Я использовал его, и он отлично работал у меня, но он также создает резервную копию файлов, которые вы изменяете, так что вы в любом случае в безопасности. Кроме того, вам придется создать резервную копию перед заменой жесткого диска, потому что SSD будет пустым — так что так или иначе, вы защищены.(Настройка, описанная здесь, не мешает работе диска Kingston.)

Все протестированные мной твердотельные накопители поставлялись с программным обеспечением для резервного копирования Windows в коробке, что позволяет создавать разделы; для пользователей Mac я бы порекомендовал SuperDuper! или Carbon Copy Cloner. Убедитесь, что вы создали резервную копию и убедитесь, что она работает.

Вот цены, которые помогут вам определиться — потому что вы должны знать, что в вашем будущем очень скоро появятся SSD. Все цены указаны для моделей с 256 ГБ памяти.

Kingston 2256GB SSDNow V100 SATA-300 370 фунтов стерлингов. Вес: 77 г

Plextor: 285 фунтов стерлингов. Вес: 75г.

Crucial £ 290. Вес: 75г.

Samsung SSD830 серии: 320 фунтов стерлингов. Вес: 63г.

Мониторинг состояния SSD-накопителя

1. TechSparx
2. Компьютерное оборудование
3. Технология и информация о твердотельных накопителях
4. Мониторинг состояния твердотельных накопителей

; Дата: 19 ноября 2017 г.

Теги: »» »»

великолепны, они быстрые, потребляют мало энергии, они легкие и так далее.Но мы все беспокоимся о том, не выйдет ли из строя диск неожиданно, поскольку распространенная истина заключается в том, что SSD-диски просто выйдут из строя, забирая с собой весь ваш компьютер. Поэтому полезно заранее предупреждать, отслеживая состояние вашего SSD-диска. Главное — убедиться, что на вашем диске есть S.M.A.R.T. особенность (технология самоконтроля, анализа и отчетности). Следующий ключ — получить программное обеспечение, которое может запрашивать S.M.A.R.T. данные, представляя их в понятной для вас форме.

Приложение SSD Reporter для macOS запускается при входе в систему и выдает всплывающее уведомление, когда состояние диска ухудшается. Я полагаю, это должно быть полезно, но на самом деле я нахожу это неприятным, так как диск, кажется, теряет 1% каждые несколько дней.

См. Также:

Набор инструментов для твердотельных накопителей Intel® https://downloadcenter.intel.com/download/27330?v=t

SmartMonTools — это программное обеспечение с открытым исходным кодом для мониторинга S.M.A.R.T. атрибуты https://www.smartmontools.org/

Центр обработки данных твердотельных накопителей Intel® для атрибутов SATA SMART содержит все низкоуровневые сведения о S.M.A.R.T. функции на SSD дисках https://www.intel.com/content/dam/support/us/en/documents/solid-state-drives/Intel_SSD_Smart_Attrib_for_SATA.PDF

Википедия https://en.wikipedia.org/wiki/S.M.A.R.T.

Об авторе (ах)