Хранилище данных это: Что такое хранилище данных | Oracle СНГ

Что такое хранилище данных | Oracle СНГ

Хранилище данных — определение

Хранилище данных — это разновидность системы управления данными, которая обеспечивает поддержку бизнес-аналитики. Хранилища данных предназначены только для выполнения запросов и анализа и обычно содержат большие объемы исторических данных. Данные обычно поступают в хранилище из самых различных источников, таких как журналы приложений и приложения транзакций.

Хранилище данных служит для централизации и консолидации больших объемов данных из различных источников. Аналитические инструменты дают возможность компаниям извлекать из собственных данных ценные для бизнеса сведения и повышать эффективность принятых решений. Со временем в хранилище накапливаются записи за прошедшие периоды, которые представляют большую ценность для специалистов по изучению данных и бизнес-аналитиков. Эти возможности делают хранилища данных единым источником проверенной информации компании.

Подробнее об Oracle Autonomous Database для аналитики и хранения данных

 

Обычно хранилище данных включает в себя следующие компоненты:

• реляционную базу данных для хранения данных и управления ими;
• решение для извлечения, загрузки и преобразования данных, которое служит для подготовки данных к анализу;
• средства статистического анализа, отчетности и глубинного анализа данных;
• инструменты анализа для визуализации данных и их представления для корпоративных пользователей;
• Другие, более сложные аналитические приложения, которые генерируют полезную информацию по алгоритмам исследования данных и искусственного интеллекта (ИИ) или с применением функции графа и пространственных функций, обеспечивающих больше вариантов анализа больших объемов данных

Преимущества хранилища данных

Хранилища данных обеспечивают для компаний обширные преимущества, так как дают возможность анализировать большие объемы разнообразных данных, извлекать из них значительную ценность, а также хранить записи за прошедшие периоды.

Эти уникальные преимущества доступны благодаря четырем отличительным особенностям хранилищ данных, которые описал специалист по вычислительным системам Уильям Инмон (William Inmon). Согласно данному им определению, хранилища данных имеют следующие характеристики.

• Субъектно-ориентированность. Хранилища можно использовать для анализа данных, которые относятся к одной теме или функциональной области (например, продажи).
• Единообразие. Хранилища данных обеспечивают целостность данных различных типов, полученных из разных источников.
• Неизменность. Элементы данных, помещенные в хранилище данных, не подвергаются изменениям.
• Изменения во времени. Анализ данных, помещенных в хранилище данных, предназначен для выявления изменений в закономерностях, возникающих со временем.

Хорошо спроектированное хранилище данных обеспечивает быстрое выполнение запросов, эффективное прохождение больших объемов данных и достаточный уровень гибкости, чтобы конечные пользователи могли формировать продольные и поперечные срезы данных или уменьшать их объем для более подробного изучения, то есть обеспечивает соответствие самым различным потребностям в изучении данных как на высшем, так и на самом низовом уровне.

Хранилища данных служат функциональной основой для промежуточных сред бизнес-аналитики, которые предоставляют конечным пользователям доступ к отчетам, панелям мониторинга и прочим элементам интерфейса.

Архитектура хранилища данных

Архитектура хранилища данных зависит от потребностей компании. Наиболее распространенными типами архитектур являются следующие.

• Простая. Все хранилища данных имеют общую конструкцию, где метаданные, сводные данные и необработанные данные хранятся в центральном репозитории хранилища. В репозиторий поступают данные из источников, к которым затем получают доступ конечные пользователи для выполнения анализа, составления отчетов и изучения.
• Простая архитектура с областью подготовки. Перед помещением в хранилище операционные данные должны пройти процедуру очистки и обработки. Это можно сделать программным способом, однако во многих хранилищах данных есть специальная область, где данные проходят обработку перед поступлением непосредственно в хранилище.
• Основное и дополнительные хранилища. Добавление витрин данных между центральным репозиторием и конечными пользователями дает возможность компаниям использовать хранилища данных для обслуживания различных направлений бизнеса. Когда данные готовы к использованию, их помещают в соответствующую витрину.
• «Песочницы». «Песочницы» представляют собой безопасные частные и защищенные области, в которых компании могут быстро изучать новые наборы данных или способы анализа без необходимости обеспечивать соответствие формальным правилам и протоколам хранилища данных.

Эволюция хранилища данных от анализа данных к ИИ и машинному обучению

Первые хранилища данных появились в конце 1980-х гг., и их задачей было обеспечить обмен данными между операционными БД (БД для поддержки бизнеса) и системами поддержки принятия решения (СППР). Первым хранилищам данных требовалось много копий. Большинство компаний использовали несколько СППР для различных потребностей. Хотя эти СППР обычно использовали одни и те же данные, процессы сбора, очистки и интеграции выполнялись для каждой из них по отдельности.

По мере того как эффективность хранилищ данных росла, они превратились из «складов информации» для поддержки традиционных платформ бизнес-аналитики в обширные аналитические инфраструктуры, которые сегодня обслуживают самые разнообразные потребности компаний, включая операционную аналитику и управление эффективностью.

Эволюция хранилищ данных сделала их важным инструментом для постепенного наращивания бизнес-ценности для предприятия в виде банка данных предприятия (EDW).

Шаг	Возможности	Бизнес-преимущество
1	Транзакционная отчетность	Обеспечивает реляционные сведения для создания моментальных снимков бизнес-эффективности
2	Продольные и поперечные срезы данных, специальные запросы, инструменты бизнес-аналитики	Расширяет возможности для углубленного и более эффективного анализа
3	Прогнозирование эффективности в будущем (глубинный анализ данных)	Обеспечивает визуализации данных и бизнес-аналитические прогнозы
4	Тактический анализ (пространственный анализ, статистика)	Обеспечивает альтернативные сценарии для принятия решений на основе комплексного анализа
5	Хранит данные за несколько месяцев или лет	Хранит данные за несколько недель или месяцев

На каждом из пяти этапов требуется увеличивать разнообразие наборов данных. На последних трех этапах максимально обширный диапазон данных и аналитических средств является обязательным требованием.

Сегодня технологии ИИ и машинное обучение применяются практически во всех инструментах для промышленности, сферы обслуживания и бизнеса. И хранилища данных не стали исключением. Широкое применение больших данных и внедрение новых цифровых технологий способствуют изменению требований к хранилищам данных и их функциональным возможностям.

Автономные хранилища данных представляют собой наиболее современное решение. Они дают возможность предприятиям извлекать еще больше ценных сведений из данных и в то же время обеспечивают более высокий уровень надежности и эффективности.

Подробнее об автономных хранилищах данных и о том, с чего начать работу с собственным автономным хранилищем.

Хранилища данных, витрины данных и хранилища операционных данных

Хранилища данных, витрины данных и хранилища операционных данных (ODS) выполняют схожие роли, однако имеют свои отличия. Витрины данных имеют те же функции, что и хранилища данных, однако, как правило, ограничены одним подразделением или направлением бизнеса. Такая особенность дает возможность создавать витрины легче, чем хранилища данных. Тем не менее использование нескольких витрин может вести к потере целостности данных, так как между ними сложно обеспечить управление данными и контроль.

ODS используются только для поддержки ежедневных операций, поэтому доступ к историческим данным в них весьма ограничен. Они эффективны в качестве источника актуальных сведений и часто используются в этом качестве хранилищами данных, но не поддерживают сложные запросы к историческим данным.

Что такое облачное хранилище данных?

Облачное хранилище данных использует облако для получения и хранения данных из разрозненных источников.

Первоначально хранилища данных создавались на локальных серверах. У таких локальных хранилищ данных и сегодня много преимуществ. Во многих случаях они могут обеспечить более качественное управление, повышенную безопасность, суверенитет данных и более низкую задержку. Однако локальные хранилища данных не настолько гибкие и для них необходимо сложное прогнозирование, чтобы определить, как масштабировать такие хранилища данных для будущих потребностей. Управление такими хранилищами данных тоже может быть непростой задачей.

С другой стороны, облачные хранилища данных отличаются следующими преимуществами.

• Эластичная поддержка горизонтального масштабирования для крупных или переменных вычислительных ресурсов или хранения
• Простое применение
• Простое управление
• Сокращение затрат

Лучшие облачные хранилища данных отличает полная управляемость и самоуправляемость, поэтому даже новички могут создавать и начать использовать хранилища данных всего в несколько кликов. Простой способ начать переход в облачное хранилище данных заключается в размещении своего облачного хранилища данных в локальной среде под защитой брандмауэра Вашего центра обработки данных, что соответствует требованиям в отношении суверенитета данных и безопасности.

Кроме того, в большинстве облачных хранилищ данных используется модель оплаты по мере использования, что обеспечивает дополнительную экономию средств для заказчиков.

Что такое современное хранилище данных?

Разные пользователи в компании, будь то ИТ-группы, инженеры по данным, бизнес-аналитики или специалисты по изучению данных, имеют разные потребности в хранилище данных.

Современная архитектура данных способна удовлетворять разные потребности, предоставляя возможность управления всеми типами данных, нагрузками и аналитикой. Она состоит из эталонных архитектур с необходимыми компонентами, интегрированными для совместной работы в соответствии с лучшими отраслевыми практическими рекомендациями. Современное хранилище данных включает следующее.

• Конвергентная база данных, которая упрощает управление всеми типами данных и предоставляет различные способы использования данных.
• Сервисы для самостоятельного получения и преобразования данных
• Поддержка SQL, машинного обучения, графической и пространственной обработки
• Разные параметры аналитики, упрощающие использование данных без необходимости их перемещения
• Автоматизированное управление для упрощения выделения ресурсов, масштабирования и администрирования

Современное хранилище данных может так эффективно оптимизировать рабочие процессы, как ни одно другое хранилище ранее. Это означает, что каждый сотрудник, от аналитика и инженера по обработке данных до специалиста по изучению данных и ИТ-экспертов, может выполнять свою работу более эффективно и заниматься инновациями, помогая компании двигаться вперед без постоянных задержек и излишней сложности.

Проектирование хранилища данных

Проектирование хранилища данных для компании следует начать с определения конкретных бизнес-потребностей, согласования сферы применения и разработки концепции проекта. После этого можно приступать к разработке логической и физической модели хранилища данных. Логическая модель включает в себя взаимосвязи между объектами, в то время как физическая служит для определения оптимального способа хранения и извлечения объектов. Кроме того, она также включает в себя процессы передачи, резервного копирования и восстановления.

При проектировании хранилища данных обязательно нужно учитывать следующие факторы.

• Специфика содержания (данные)
• Взаимосвязи внутри групп данных и между ними
• Системные среды обеспечения хранилища данных
• Необходимые типы преобразования данных
• Частота обновления данных

Наиболее важным фактором при проектировании является потребность конечных пользователей. Обычно пользователи используют хранилище для анализа, и им нужны данные в обобщенном виде, а не в виде отдельных транзакций. Тем не менее нередко конечные пользователи не знают, какие возможности им нужны до возникновения потребности в них. Таким образом, в процессе планирования необходимо предусмотреть резервные ресурсы для добавления новых возможностей. И наконец, при проектировании хранилища данных необходимо учитывать потребность в расширении по мере развития потребностей конечных пользователей.

Облачные хранилища и хранилища данных

Облачные хранилища данных имеют те же свойства и возможности, что и локальные, а также обеспечивают преимущества облачных вычислений, таких как гибкость, масштабируемость, маневренность, безопасность и экономичность. Использование облачных хранилищ данных дает возможность компаниям полностью сфокусироваться на извлечении полезных сведений из собственных данных вместо того, чтобы заниматься созданием и обслуживанием аппаратной и программной инфраструктуры, необходимой для поддержки хранилища данных.

Читать об Oracle Cloud и хранилищах данных (PDF)

Зачем нужно озеро данных?

Компании используют озера и хранилища данных для хранения больших объемов данных, полученных из разных источников. Выбор способа хранения зависит от того, как эта компания намеревается использовать данные. Ниже описаны рекомендуемые способы применения каждого из типов хранилищ.

• Озера данных рекомендованы для хранения разрозненных нефильтрованных данных, которые предназначены для последующего использования в определенных целях. Данные из мобильных и бизнес-приложений, соцсетей, устройств IoT и т. д. сохраняются в необработанном виде в озере данных. Структуру, целостность, состав и формат наборов данных определяет специалист во время выполнения анализа. Если Вашей компании требуется экономичная система хранения для неформатированных, неструктурированных данных из множественных источников, которые предполагается использовать в будущем для конкретных целей, рекомендуем остановить свой выбор на озере данных.
• Хранилища данных специально предназначены для анализа данных. Данные для анализа проходят в хранилище данных предварительную обработку (сбор, контекстуализацию и преобразование), чтобы облегчить извлечение ценных сведений. Хранилища данных также можно использовать для обработки больших объемов данных из разных источников. Если Вашей компании требуется расширенный анализ исторических данных из множественных источников, рекомендуем выбрать хранилище данных.

Почему среда OLTP не подходит для аналитики данных?

Хранилища данных представляют собой реляционные среды, которые используют для анализа данных, прежде всего за прошедшие периоды. Компании используют хранилища данных для обнаружения вырабатывающихся со временем закономерностей и взаимосвязей в данных.

В отличие от них транзакционные среды применяются для непрерывной обработки транзакций, то есть ввода заказов и совершения финансовых и розничных операций. В них не используются исторические данные. Более того, в средах OLTP данные за прошедшие периоды обычно архивируют или даже удаляют, чтобы улучшить эффективность.

Хранилища данных и OLTP-системы значительно отличаются друг от друга.

	Хранилище данных	OLTP-система
Рабочая нагрузка	Поддерживает специализированные запросы и анализ данных	Поддерживает только предварительно заданные операции
Изменения данных	Регулярно выполняются автоматические обновления	Обновления выполняют конечные пользователи с помощью специальных команд
Дизайн схемы	Использует частично денормализованные схемы для улучшения эффективности	Использует полностью нормализованные схемы для обеспечения целостности данных
Сканирование данных	Включает от нескольких тысяч до миллионов строк	Обеспечивает одновременный доступ только к нескольким записям
Исторические данные	Хранит данные за несколько месяцев или лет	Хранит данные за несколько недель или месяцев

Беспроблемное развертывание: Oracle Autonomous Data Warehouse

Наиболее современной разновидностью хранилищ данных являются автономные хранилища. В них применяются технологии на основе ИИ и машинного обучения. Это дает возможность устранить потребность в ручном выполнении задач по установке, развертыванию и управлению. Автономные хранилища данных предоставляются в виде облачных сервисов и не требуют вмешательства пользователя для администрирования, настройки аппаратного обеспечения или установки ПО.

Создание хранилища данных, резервное копирование, исправления и обновления, а также увеличение и уменьшение размера базы данных выполняются автоматически, что обеспечивает высокие показатели гибкости, масштабируемости, маневренности, безопасности и экономичности, столь популярные в облачных решениях. Использование автономного хранилища данных дает возможность упростить обслуживание, ускорить развертывание и высвободить ресурсы. Так компании могут больше уделять времени на увеличение прибыли.

Oracle Autonomous Data Warehouse

Oracle Autonomous Data Warehouse — простое в использовании, полностью автоматизированное хранилище данных, которое обеспечивает эластичную масштабируемость, быстрое выполнение запросов и не требует администрирования. Настройка Oracle Autonomous Data Warehouse не требует много времени и усилий.

Что такое хранилище данных? – (объяснение хранилища данных) – AWS

Что такое хранилище данных?

Хранилище данных – это цифровой репозиторий, который хранит и защищает информацию в компьютерных системах. Оно может быть сетевым хранилищем, распределенным облачным хранилищем, физическим жестким диском или виртуальным хранилищем. В нем могут храниться структурированные данные, такие как информационные таблицы, и неструктурированные данные, такие как электронные письма, изображения и видео. Организации используют хранилища данных для хранения информации, а также обмена и управления ею в разных бизнес-подразделениях.

Почему хранилище данных является важным?

Хранилище данных можно использовать для надежного сохранения информации в компьютерных системах и предотвращения потери данных. Компьютерные системы хранят информацию на постоянных запоминающих устройствах. Постоянное хранилище является энергонезависимым, что означает, что оно сохраняет данные даже после выключения питания устройства. Это гарантирует, что компьютерная система будет иметь доступ к тем же данным после повторного включения.

Предприятия используют хранилища данных для управления, категоризации и упорядочения данных для операций, анализа, отчетности и хранения данных, что важно для соблюдения нормативных требований. Хранилища данных имеют несколько вариантов использования, например данные, создаваемые и потребляемые приложениями, архивирование данных, аналитика данных и аварийное восстановление.

В связи со сложностью требований к данным компании используют различные типы инфраструктуры их хранения для обеспечения доступности, избыточности, управления и прозрачности. Например, организации используют Эластичную файловую систему Amazon (Amazon EFS) для бессерверной файловой системы и Простой сервис хранения данных Amazon (Amazon S3) для хранения объектов. 

В контексте хранения данных несколько терминов часто используются как взаимозаменяемые, но имеют несколько разные значения. Ниже представлены несколько примеров.

База данных

База данных – это организованная система хранения данных. Большинство баз данных основаны на реляционной архитектуре баз данных. Реляционная система управления базами данных (RDBMS) дает пользователям возможность хранить данные в таблицах, связанных с определенными точками данных. Организации используют базы данных для хранения транзакционных данных, таких как бухгалтерские, торговые и административные журналы.

Подробнее о реляционных базах данных »

Хранилища данных и базы данных

Обсуждение хранилищ данных подразумевает различные методы хранения и получения информации. База данных – это один из методов, который позволяет приложениям легко хранить, обмениваться и извлекать данные. В отличие от файловых систем, база данных придерживается определенных правил организации, форматирования и хранения данных. 

Хранилище данных

Хранилище данных – это обширная коллекция связанной с бизнесом информации, полученной из различных источников. Компании используют хранилища данных для поддержки бизнес-аналитики и аналитики. Бизнес-аналитики и специалисты по анализу данных извлекают из хранилища данных действенные идеи.

Подробнее о хранилищах данных »

Хранилища данных

Хранилище данных – это зонтичный термин, который включает в себя различные аппаратные средства, технологии, форматы и архитектуры для хранения и поиска информации. Но существует и особый тип хранилища данных для консолидации аналитических данных для бизнеса. Например, компания GE Renewable Energy использует AWS Redshift для получения новых знаний о собранных данных. 

Как работает хранилище данных?

Физическое устройство хранения данных – это технология, лежащая в основе хранилища данных. Вы можете читать и записывать информацию на устройство в определенных форматах, таких как файлы, таблицы или блоки. Устройство может быть локальным, удаленным или находиться в облаке. Большие хранилища данных обычно распределены между несколькими физическими устройствами в разных географических точках. Программные системы и сервисы абстрагируют базовые операции хранилища данных.

Ниже мы приводим несколько примеров физических устройств. Различные типы устройств хранения данных обеспечивают разную степень безопасности и избыточности.

Флеш- и твердотельные накопители

Твердотельный накопитель (SSD) – это полупроводниковая технология, позволяющая записывать и считывать данные в микросхемах флэш-памяти. Технология флэш-памяти была коммерчески доступна в ручках-накопителях, прежде чем стать альтернативой жестким дискам (HDD). По сравнению с жестким диском, физический SSD не имеет движущихся частей, что означает более высокую производительность и долгий срок службы.

Гибридный массив хранения данных

Гибридный массив хранения данных – это физическая система хранения данных, состоящая из SSD и HDD. Хотя твердотельный накопитель обеспечивает работу с низкой задержкой, его стоимость в расчете на единицу хранения гораздо выше, чем у жесткого диска. Поэтому организации используют гибридные массивы хранения данных, чтобы сбалансировать производительность, емкость и стоимость.

RAID

RAID означает избыточный массив независимых дисков. Это технология, которая позволяет хранить одни и те же данные в нескольких местах на твердотельном накопителе.

Какие существуют форматы хранилищ данных?

Хранилища данных предназначены для обработки и организации данных в различных форматах.

Файловое хранилище

Файловое хранилище организует хранимую информацию в виде иерархии файлов и папок сверху вниз. Компьютеры используют файловые хранилища, чтобы облегчить пользователям хранение, поиск и извлечение информации. Файловую систему хранения можно использовать для хранения и организации практически любого типа данных. Хотя файловые хранилища просты в использовании, их трудно горизонтально масштабировать из-за тесно связанной архитектуры.

Подробнее о файловом хранилище »

Блочное хранилище

Блочное хранилище разделяет данные на множество сегментов одинакового размера, называемых блоками. Система блочного хранения хранит различные блоки данных на разных физических устройствах. Когда пользователи запрашивают конкретные данные, система извлекает и собирает их воедино. Используется система отображения для поиска запрашиваемых данных на основе метаданных блока. Метаданные – это дополнительная информация, которая помогает пользователям или приложениям находить определенную информацию в хранилище.

Подробнее о блочном хранилище »

Объектное хранилище

Объектное хранилище хранит неструктурированные данные в масштабируемом, самодостаточном хранилище, которое может быть размещено на различных серверах. Каждый блок данных, принадлежащий объекту, описан в его метаданных. Например, объект может хранить контент социальных сетей, видео, электронные письма и аудиофайлы. Приложения осуществляют поиск информации в хранилище объектов, используя определенные атрибуты метаданных, такие как разрешение, продолжительность и местоположение видео.

Подробнее об объектном хранилище »

Какие существуют типы хранилищ данных?

Существует несколько типов хранилищ данных, каждый из которых обладает уникальной настройкой и характеристиками.

Хранилище с прямым подключением

Хранилище с прямым подключением (DAS) состоит из устройств хранения данных, которые физически подключаются к компьютеру. Например, система DAS подключает жесткий диск, оптический диск или флэш-накопитель к компьютеру. Создание резервных копий на DAS достаточно простое, но обмен данными с другими компьютерами вызывает трудности.

Хранилище с сетевым подключением

NAS (Network-attached storage) – это устройство хранения данных, предназначенное для хранения файлов, которое обеспечивает постоянный доступ к данным для эффективной совместной работы приложений и пользователей по сети. Устройства NAS – это специальные серверы, которые обрабатывают только запросы на хранение данных и обмен файлами. Они предоставляют быстрые, безопасные и надежные услуги хранения для частных сетей.

Подробнее о хранилище с сетевым подключением »

Сеть хранения данных

Сеть хранения данных (SAN) – это высокоскоростная инфраструктура хранения данных, использующая различные типы носителей и протоколы. Предприятия используют SAN для масштабирования блочного хранилища с легкостью и доступностью. SAN использует виртуализацию хранилища, чтобы скрыть сложность инфраструктуры от многочисленных устройств.

Облачное хранилище

Облачное хранилище – это распределенная инфраструктура хранения данных, размещенная и управляемая облачными провайдерами. Она более масштабируемая, гибкая и имеет удаленный доступ по сравнению с локальными хранилищами. Например, пользователи могут подключаться к облачному хранилищу AWS при условии, что у них есть подключение к Интернету и они авторизованы для доступа к данным. Облачное хранилище также является экономически эффективным, поскольку пользователи платят только за используемую емкость.

Гибридное облачное хранилище

Гибридное облачное хранилище позволяет компаниям разделять данные между локальными и облачными сервисами хранения. Гибридное облачное хранилище помогает компаниям перейти от устаревшей архитектуры к более дешевой и безопасной облачной среде.

Как AWS может удовлетворить ваши потребности в хранении данных?

AWS предоставляет несколько десятков облачных сервисов хранения данных, чтобы удовлетворить ваши потребности в хранении данных. Кроме того, у вас есть возможность размещать на своих инстансах Эластичного вычислительного облака Amazon (Amazon EC2) все, что захотите. Чтобы выбрать лучший сервис облачного хранения AWS, соответствующий вашим требованиям, необходимо сделать следующее:

• Разделите вашу систему на рабочие нагрузки.
• Определите механизм хранения данных, наиболее подходящий для конкретной рабочей нагрузки, а не единое хранилище данных для всей системы.
• Далее выполните оптимизацию по стоимости и производительности, чтобы найти наиболее подходящий для вас сервис хранения данных.

Например, Служба реляционных баз данных Amazon (Amazon RDS) является популярным выбором для организаций, которые хотят создать и масштабировать реляционные базы данных. Она предоставляет приложениям облачное хранилище данных высокой доступности для размещения постоянных оперативных данных. Amazon RDS предлагает самоуправляемое решение для предоставления баз данных, которое освобождает разработчиков от утомительной настройки инфраструктуры хранения данных.

Начните работу с хранилищами данных на AWS, зарегистрировав аккаунт AWS уже сегодня.

Что такое хранилище данных? {Определение и типы хранения данных}

Введение

Хранение данных помогает сохранять цифровые данные и информацию. По мере экспоненциального роста объемов данных методы хранения информации также усложняются. Точно так же отдельные фрагменты данных превратились из битов и байтов в документы, видео, аудио, пользовательские настройки, сетевые конфигурации и т. д.

Существуют различные подходы к хранению данных в зависимости от типа данных, объема данных и цель хранения.

В этой статье дается определение хранилища данных и предоставляется исчерпывающий обзор различных типов хранилищ данных.

Что такое хранилище данных?

Хранение данных — это процесс использования компьютерных устройств для сохранения цифровой информации. Хранение данных помогает эффективно решать многочисленные цифровые задачи.

Компьютеры используют различные типы памяти в зависимости от того, как система использует данные. Например, устройства используют ОЗУ для мгновенного хранения и извлечения данных, а ПЗУ помогает хранить долговременные данные.

Процесс хранения данных быстро усложняется. Например, организациям, работающим с огромными объемами данных, требуются более быстрые и емкие устройства хранения.

Некоторые проблемы, возникающие при хранении данных на уровне предприятия:

• Большие объемы данных.  Для проектов с большими данными, Интернета вещей, искусственного интеллекта и машинного обучения требуются решения для хранения больших объемов данных.
• Безопасность.  Предприятиям необходимо безопасное решение для хранения данных с дополнительной защитой от потери данных и мошенничества.
• Целостность данных. Комплексные стратегии резервного копирования с надежными устройствами хранения данных помогают обеспечить целостность данных.

Существует несколько типов, устройств и форм хранения данных, которые помогают удовлетворить требования как малого масштаба, так и уровня предприятия.

Типы хранения данных

Существует много способов установить связь между устройствами, получающими доступ к данным, и устройствами хранения данных. Различные соединения приводят к уникальным типам хранения данных.

Ниже приведены краткое определение и обзор каждого типа хранилища данных.

DAS — хранилище с прямым подключением

Хранилище с прямым подключением (DAS) — это устройство хранения с прямым подключением к компьютеру или серверу. Хранилище подключается к одному устройству либо внутри, либо снаружи.

Устройства DAS просты в настройке и обслуживании по сравнению с сетевым хранилищем. Однако подключение к одному устройству создает единую точку отказа . DAS не масштабируется и имеет ограниченные возможности совместного использования.

Хотя хранилище с прямым подключением не подходит для рабочих нагрузок корпоративного уровня, 9Виртуализация хранилища 0009 обеспечивает гиперконвергентную инфраструктуру (HCI), которая создает гибкое решение DAS.

NAS — сетевое хранилище

Сетевое хранилище (NAS) — это выделенный сервер хранения, который подключается к устройствам через локальную сеть. Благодаря сетевым возможностям несколько внешних устройств могут извлекать и сохранять данные на сервере.

Хранилище NAS имеет широкие возможности совместного использования благодаря сетевому подключению. Устройство использует кластеризацию или избыточный массив дисков (RAID) и использует система хранения файлов . Решения с открытым исходным кодом позволяют установить устаревшую ОС и внедрить такие решения, как Samba, NFS или FTP, для создания NAS.

Сетевой фактор затрудняет установку и обслуживание этих типов хранилищ. Таким образом, это решение лучше подходит для рабочих нагрузок и резервного копирования корпоративного уровня. Основным недостатком является узкое место в пропускной способности локальной сети для передачи данных.

SAN — сеть хранения данных

Сеть хранения данных (SAN) — это еще один тип сетевого хранилища с доступ на уровне блоков . Этот тип хранилища содержит несколько устройств хранения данных, соединенных между собой через сеть. Тип хранилища представляет собой комбинацию NAS и DAS.

SAN — это выделенная сеть хранения данных , которая подключается к серверам. Тип хранилища использует различные сетевые протоколы, такие как Fibre Channel, для передачи данных между сервером и хранилищем. Серверы, подключенные к сети хранения, видят устройства хранения как напрямую подключенных устройств .

Настройка SAN включает работу со специализированной сетью и устройствами хранения. Каждое устройство и выделенная сеть нуждаются в настройке и обслуживании, что стоит дорого .

Типы решений для хранения данных

Решения для хранения данных бывают разных видов; каждое устройство использует уникальную технологию и решает различные проблемы с хранением данных.

Ниже представлен краткий обзор различных устройств хранения данных и технологических решений.

Флэш-память и твердотельный накопитель

Флэш-память — это твердотельная технология, использующая флэш-чипы для постоянного хранения данных. Большинство современных примеров флэш-памяти относятся к SSD (твердотельный накопитель).

SSD не имеют движущихся частей, что делает их менее уязвимыми к механическим повреждениям. Однако флэш-память имеет ограниченное количество операций чтения/записи и со временем выходит из строя. Эти устройства хранения не требуют питания для хранения данных, имеют большую пропускную способность, чем жесткие диски, и стоят дороже.

Гибридный

Гибридный накопитель объединяет флэш-накопители (SSD) и жесткие диски (HDD). Подход уравновешивает инфраструктуру хранения, используя высокую скорость твердотельных накопителей и емкость жестких дисков.

Гибридные решения экономичны и служат ступенькой при переходе от среды, состоящей только из жестких дисков. Кроме того, вы можете хранить часто используемые данные на твердотельном накопителе для более быстрого доступа, а редкие долгосрочные данные — на жестком диске.

Облако

Облачное хранилище — это технология облачных вычислений и альтернатива локальному хранилищу и сетям хранения. Поставщик облачных услуг размещает внешнюю инфраструктуру, доступную через частное сетевое соединение или через Интернет. Поставщики также защищают, управляют и обслуживают инфраструктурное решение и предоставляют доступ к данным по запросу.

Решение для хранения данных является масштабируемым и экономичным благодаря отсутствию внутренней настройки и управления инфраструктурой. Безопасность облачных хранилищ часто превосходит локальные структуры.

Гибридное облако

В гибридных облачных хранилищах используются элементы общедоступных и частных облачных решений с локальными вычислениями. Комбинируя несколько технологий, предприятия выбирают, где хранить какие данные.

Например, данные со строгими правилами и безопасностью помещаются в частное облако, тогда как менее уязвимые данные лучше подходят для общедоступного облака. Разделение данных по разным средам создает многоуровневую модель безопасности.

Кроме того, использование различных облачных моделей создает гибкую, масштабируемую и экономичную среду. Гибридное облачное решение помогает создать оптимальные ИТ-условия, которые интегрируются с существующей инфраструктурой.

Решения для резервного копирования

Решения для резервного копирования предназначены для защиты предприятий от потери данных путем периодического создания копий данных. Решая различные проблемы, приводящие к потере данных, такие как кибератаки, утечка данных, ошибки и сбои, решения для резервного копирования помогают предприятиям обеспечить непрерывность бизнеса и сохранить целостность данных.

Существуют различные устройства и решения, обеспечивающие эффективную стратегию резервного копирования. Для небольших организаций достаточно твердотельных накопителей, жестких дисков и других устройств хранения данных с прямым подключением.

Для нужд предприятия стоимость простоя намного выше, а решения также сложны. Ознакомьтесь с нашим руководством по резервному копированию и восстановлению данных, чтобы узнать, как компании могут реагировать на такие ситуации.

Формы хранения данных

Существует три основных способа хранения и организации данных в хранилище. Критические различия между архитектурами хранения данных описаны в разделах ниже.

Хранилище файлов

Хранилище файлов — это хранилище иерархического типа для организации и хранения данных. Данные находятся в файлах, а файлы — в папках или каталогах. Каталоги далее содержатся в других каталогах, создавая иерархию каталогов и подкаталогов.

Каждый файл имеет уникальный путь, состоящий из имени каталога, имен подкаталогов и имени файла. Файловые хранилища — отличное решение для небольших структурированных данных. По мере роста данных пути хранения файлов усложняются. NAS и жесткие диски используют систему хранения файлов для хранения данных.

Блочное хранилище

Блочное хранилище (или хранилище на уровне блоков) организует данные, группируя информацию в блоки. Каждый блок является отдельной порцией информации и имеет уникальный идентификатор.

Внутренняя система хранения повторно собирает блоки по запросу, представляя данные пользователю или приложению. Транспортировка и доступ к данным в блоках надежны и быстры, и их легко распределить по нескольким средам, что создает несколько способов доступа к одной и той же информации.

Блочное хранилище используется в SAN и облачных хранилищах в качестве решения.

Хранилище объектов

Хранилище объектов (или объектное хранилище) организует данные в дискретных единицах данных, называемых объектами. Каждый объект представляет собой независимый репозиторий с данными, метаданными и уникальным идентификатором. Уникальный идентификатор помогает найти объект, а метаданные являются описательными и настраиваемыми.

Облачные приложения, приложения с искусственным интеллектом и приложения для работы с большими данными выигрывают от использования объектного хранилища. Этот тип хранилища является масштабируемым (до петабайт) и идеально подходит для хранения огромных объемов неструктурированных данных.

Заключение

Прочитав это руководство, вы узнаете больше о различных типах хранения данных, устройствах и решениях, доступных сегодня. Каждое решение для хранения данных служит определенной цели и лучше всего подходит для хранения данных в конкретных случаях использования.

Что такое хранение данных и типы хранения данных

Что такое хранение данных и типы хранения данных | Нутаникс Введите ваше имя:

Блог

| мин

Поскольку современные предприятия работают с данными, поиск надежных и эффективных способов хранения этой информации является основным приоритетом для каждой организации. Когда дело доходит до типов хранилищ, существует широкий выбор для любого размера бизнеса и бюджета. Так много вариантов может затруднить выбор того, какие типы хранения данных идеально подходят для нужд вашей организации.

Давайте подробнее рассмотрим, что такое хранилище данных, и выделим основные типы решений и устройств для хранения данных.

Что такое хранилище данных?

Каждая часть информации, которую вы собираете в своем бизнесе, потенциально важна. Будь то база данных учетных записей клиентов и истории их покупок, кадровые записи для каждого сотрудника, финансовая информация, такая как платежная ведомость или дебиторская задолженность, или интеллектуальная собственность, такая как спецификации для ваших продуктов, эта информация должна где-то храниться, чтобы вы могли получить к ней доступ. столько, сколько необходимо для ведения вашего бизнеса.

Сегодня большинство предприятий хранят эту информацию в цифровом виде на компьютерах. Времена бесконечных картотек и папок с бумажными папками быстро уходят в прошлое, поскольку современные организации стремятся к цифровому преобразованию.

СВЯЗАННЫЙ

Gartner® признает Nutanix провидцем в Magic Quadrant™ для распределенных файловых систем и объектных хранилищ в 2021 году

Важность хранения данных

С каждым годом объем бизнес-данных растет. Передовые технологии, такие как анализ данных, Интернет вещей и искусственный интеллект, генерируют и используют огромные объемы данных. Это означает, что хранение данных как никогда важно для успеха каждой организации. Ваши решения для хранения данных являются ключом к тому, насколько легко и эффективно вы можете организовывать, управлять, получать доступ, делиться и использовать эту жизненно важную информацию.

Помимо того, что цифровое хранилище данных намного быстрее и надежнее, чем системы хранения на бумажных носителях, оно имеет много других преимуществ:

• Длительное сохранение данных – Цифровое хранилище данных позволяет легко объединять большие объемы информации в течение длительных периодов времени.

• Упрощенный доступ – Каждый может получить необходимую ему информацию прямо со своего настольного компьютера, вместо того, чтобы физически идти в комнату, полную картотеки.

• Более эффективное восстановление данных . Сохраненные данные легко резервируются путем создания копий, поэтому восстановление выполняется быстрее и проще, если файл потерян или поврежден.

• Меньшая занимаемая площадь и простота масштабирования . Нет необходимости в физических картотеках, которые со временем занимают много места, а увеличение цифровой емкости выполняется просто.

• Потенциально повышенная безопасность . Для очень конфиденциальных данных существует множество других способов защитить и защитить эту информацию в цифровом виде с использованием современных передовых инструментов и функций безопасности.

• Более простое сотрудничество между командами — централизованно хранящиеся данные доступны каждому авторизованному пользователю, и к ним можно получить доступ и поделиться ими между командами во время их совместной работы.

• Более эффективное управление документами . Классифицировать и упорядочивать данные в цифровом виде проще, и это можно делать с рабочего стола компьютера или другого подключенного устройства.

• Повышенная производительность и рабочие процессы . Сохранение данных в цифровом виде занимает меньше времени, чем распечатка физических страниц и создание файлов, которые должны храниться в картотеках.

Как работает хранилище данных?

При сохранении данных на компьютере цифровая информация сохраняется на устройстве, где она остается до тех пор, пока не будет удалена. Хранилище существенно отличается от памяти компьютера: хотя вы можете быстро получить доступ к информации из ОЗУ вашего компьютера, эти данные доступны в ОЗУ только до тех пор, пока ваш компьютер не будет выключен. Однако хранилище данных сохраняет данные независимо от того, включен компьютер или выключен. Вот как он может хранить данные в долгосрочной перспективе.

Сохранение данных на запоминающем устройстве компьютера позволяет вам получить доступ к этой информации, когда она вам понадобится. Например, бухгалтерия может получить сохраненные данные о рабочем времени сотрудников и использовать их для выполнения раз в два месяца задач по расчету заработной платы. Торговый представитель может получить информацию о клиенте перед звонком по продажам, чтобы увидеть последние заказы и просмотреть последний визит, чтобы напомнить им о проблемах, которые они обсуждали.

Типы хранения данных

Существует два основных типа хранения цифровых данных: хранилище с прямым подключением и сетевое хранилище. Каждый тип может вмещать ряд устройств, поэтому сначала мы рассмотрим общие типы, а затем углубимся в конкретные устройства хранения данных.

Хранилище с прямым подключением (DAS): преимущества и недостатки

Иногда называемое хранилищем прямого доступа, DAS — это хранилище, которое подключается непосредственно к определенному компьютеру. Это может означать пространство для хранения на установленном жестком или твердотельном диске вашего компьютера, или это может быть съемный портативный носитель информации, такой как внешний жесткий диск, компакт-диск или DVD-диск, USB-накопитель или флэш-накопитель.

Преимущества DAS включают высокую доступность, легкий доступ, простоту резервного копирования и восстановления и отсутствие необходимости в сетевом оборудовании или настройке. Масштабируемость также очень проста, так как для этого просто требуется устройство с большей емкостью. Недостатком, однако, является сложность обмена данными с другим пользователем. Для этого требуется физически передать кому-то еще накопитель. Таким образом, данные доступны только одному пользователю одновременно. Обмен между группами практически невозможен, что означает разрозненность данных.

Сетевое хранилище: NAS и SAN

Другим основным типом хранения данных является сетевое. Это означает, что это централизованное хранилище информации, к которому могут получить доступ пользователи сетевых компьютеров или других сетевых устройств. Вместо того, чтобы храниться на носителях, напрямую подключенных к одному компьютеру, эти данные обычно хранятся на серверах в центре обработки данных.

Сетевое хранилище было создано для решения проблемы доступа нескольких пользователей к данным из удаленных мест. Эти типы хранилищ упрощают совместное использование данных и совместную работу, а поскольку они могут быть удалены, они лучше, чем DAS, для резервного копирования и защиты от аварийного восстановления.

В этом типе хранилища данных есть две общие настройки: сетевое хранилище (NAS) и сеть хранения данных (SAN).

Сетевой накопитель

NAS — это отдельный компьютер или сервер, состоящий из избыточных контейнеров хранения или избыточного массива недорогих дисков (RAID), таких как несколько жестких дисков, которые делают данные доступными для пользователей через подключение к Интернету. Обычно он недорог и прост в настройке и развертывании.

Этот тип хранения данных обеспечивает гибкость и простоту масштабирования. Увеличение емкости означает просто добавление еще одного жесткого диска к существующему компьютеру. Но поскольку NAS обычно представляет собой одну машину, масштабируемость не безгранична. NAS создает единый том хранимых данных в централизованном месте, поэтому пользователи могут получить к нему доступ из любого места, если они могут подключиться к сети.

Преимущества NAS включают относительно низкую стоимость, автономность и простоту администрирования. Данные доступны в любое время, а отказоустойчивость высока благодаря отказоустойчивым нескольким дискам. Если один диск выходит из строя, остальная часть системы продолжает работать.

Недостатки в основном связаны с производительностью и масштабируемостью. Чем больше пользователей пытаются получить доступ к данным, тем медленнее будет работать система. Поскольку он работает через Ethernet, также могут возникнуть проблемы с потерей или неправильным порядком пакетов в пути, что также снижает производительность, поскольку данные недоступны до тех пор, пока все пакеты не поступят и не будут правильно собраны в системе. Эти проблемы с производительностью обычно не являются проблемой, когда файлы небольшие. Но пользователь, работающий с очень большими файлами, такими как видеоматериалы, может заметить значительное замедление и сбои в производстве.

САН

SAN состоит из сети из нескольких устройств, таких как твердотельные накопители (SSD), флэш-память и облачное хранилище. Обычно это дороже и сложнее в настройке, чем NAS. SAN использует Fibre Channel вместо Ethernet для сетевых серверов и устройств хранения, которые могут представлять собой массив взаимосвязанных компонентов. Для пользователей хранилище SAN выглядит как локальные диски на их компьютерах или других устройствах.

Преимущества хранилища SAN заключаются в том, что оно предназначено для гораздо большего числа пользователей, чем NAS. Он имеет тенденцию обеспечивать более высокую скорость и меньшую задержку, чем системы NAS, и его легко масштабировать с помощью различных вариантов устройств и конфигураций на выбор.

Недостатки упомянуты выше: он дороже, чем NAS, сложнее в настройке и управлении.

СВЯЗАННЫЙ

Пришло время отказаться от SAN и внедрить гиперконвергентную инфраструктуру

Устройства хранения данных

Когда дело доходит до устройств хранения данных, у вас есть много вариантов. Вот краткое изложение основных категорий.

Облачное хранилище

Облако быстро стало масштабируемым и экономичным методом хранения данных для многих организаций. Вместо того, чтобы сохранять данные на локальные жесткие диски или в сети хранения, данные сохраняются в удаленных хранилищах, которые управляются и размещаются поставщики услуг общедоступного облака или сеть частного облака . Провайдеры обслуживают всю инфраструктуру, и вы просто платите за доступ в любое время и в любом месте к сохраненным на ней данным.

Гибридное облачное хранилище

Гибридное облачное хранилище означает использование разных облаков для разных рабочих нагрузок. Например, вы можете хранить свои самые конфиденциальные и / или строго регулируемые данные в частном облаке, где у вас есть полный контроль над безопасностью. Менее конфиденциальные данные можно недорого хранить в общедоступном облаке. В других гибридных сценариях частные и общедоступные облака также сочетаются с локальными центрами обработки данных, что позволяет использовать модель смешивания и сопоставления, которая обеспечивает лучшее из обоих миров.

К преимуществам использования облачных и гибридных облачных хранилищ относятся:

• Почти бесконечная масштабируемость

• Платите только за используемую мощность

• Увеличение и уменьшение рабочих нагрузок по мере необходимости

• Облачное резервное копирование и быстрое восстановление

• Удобный удаленный обмен и совместная работа

Одним из недостатков является то, что для доступа к данным требуется устройство, подключенное к Интернету, и расходы могут быстро возрасти, если вы слишком часто перемещаете рабочие нагрузки.

SSD и флэш-память

Когда компьютеры впервые стали популярными, жесткие диски (HDD) были стандартными. Жесткие диски использовали механические вращающиеся диски и подвижную головку для чтения и записи данных. В современных компьютерах в основном используются твердотельные накопители, в которых вместо движущихся частей используются микросхемы флэш-памяти. Они намного быстрее и имеют меньшую задержку, чем жесткие диски.

К преимуществам твердотельных накопителей и флэш-накопителей относятся более высокая скорость — до 100 раз выше, чем у жестких дисков, — и более высокая надежность, поскольку в них отсутствуют движущиеся части. Отсутствие движущихся частей также означает, что они более энергоэффективны и меньше нагреваются, чем жесткие диски.

Одним из самых больших недостатков является стоимость по сравнению с жесткими дисками. SSD значительно дороже, что делает их дорогим выбором для долговременного хранения. Производительность делает их отличными для хранения уровня 1 или ваших наиболее важных данных и рабочих нагрузок, но в качестве архивного хранилища цена может быть непомерно высокой. По мере совершенствования технологий и распространения дисков цены могут постепенно снижаться. Они также имеют максимальное количество операций чтения и записи, прежде чем их больше нельзя будет использовать.

Резервное хранилище

Стратегия хранения данных каждой организации должна включать резервное хранилище для защиты от потери, кражи и повреждения данных. Крайне важно регулярно создавать резервные копии всех данных на отдельном, определенном устройстве или в определенном месте. Резервные копии — ваш спасательный круг в случае аварии. Эти устройства резервного копирования могут включать жесткие диски, твердотельные накопители, удаленные серверы или даже оптические ленточные накопители. Вы также можете использовать резервное копирование как услугу или сохранять резервные копии в общедоступном или частном облаке.

Фактически, уже давно рекомендуется использовать правило 3-2-1 для резервного копирования ваших данных. Это правило гласит:

• У вас должно быть три копии ваших данных

• Как минимум на двух различных типах носителей

• И хотя бы одна копия должна храниться вне офиса или в облаке

Программное обеспечение и устройства для резервного копирования могут быть удобными, но они также могут быть дорогими, в зависимости от решения и функций.

Решения для хранения данных Nutanix

Nutanix был назван «Провидцем» в «Магическом квадранте» Gartner для распределенных файловых систем и объектных хранилищ в 2021 году. Решения для хранения данных от Nutanix включают:

• Nutanix Files — Быстрое, простое и масштабируемое масштабируемое распределенное хранилище файлов.

• Nutanix Objects — безопасное масштабируемое облачное хранилище объектов, которое идеально подходит для больших данных, облачных приложений и глубоких архивов.

• Nutanix Unified Storage — унифицированное решение для хранения на основе программного обеспечения, которое устраняет разрозненность и упрощает управление и контроль данных, где бы они ни находились.

Все услуги Nutanix Unified Storage и данных легко интегрируются с нашей гиперконвергентной инфраструктурой (HCI) для создания единой управляемой архитектуры.

Стремясь идти в ногу с растущими потребностями в хранении данных, Nutanix постоянно обновляет и совершенствует свои решения для хранения данных для вашей выгоды. Наши последние усовершенствования включают обнаружение программ-вымогателей, улучшенные функции аварийного восстановления, улучшенную аналитику файлов и возможности синхронизации.

СВЯЗАННЫЙ

Унифицированное хранилище Nutanix

Ваша простая, безопасная и масштабируемая платформа хранения данных

 

_{© Nutanix, Inc., 2022. Все права защищены. Nutanix, логотип Nutanix и все названия продуктов, функций и услуг Nutanix, упомянутые здесь, являются зарегистрированными товарными знаками или товарными знаками Nutanix, Inc. в США и других странах. Другие торговые марки, упомянутые здесь, предназначены только для целей идентификации и могут быть товарными знаками их соответствующего владельца (владельцев). Этот пост может содержать ссылки на внешние веб-сайты, не являющиеся частью Nutanix.com. Nutanix не контролирует эти сайты и не несет никакой ответственности за содержание или точность любых внешних сайтов.}