Яндекс хранилище: Скачать Яндекс Диск на компьютер, смартфон и планшет

Заоблачные технологии: «Яндекс Диск» начали использовать для кибератак | Статьи

Хакеры начали использовать «Яндекс Диск» для атак на российские СМИ и топливно-энергетические компании, рассказали «Известиям» в Positive Technologies. Ранее в подобных схемах злоумышленники задействовали популярные зарубежные сервисы вроде OneDrive и Dropbox. По словам специалистов, загрузить в подобные файловые хранилища вредоносный код не составляет большого труда, поскольку компании не имеют права идентифицировать личные файлы пользователей. Кроме того, обнаружить хакерскую активность сложно — она выглядит как обычный трафик. Чтобы защитить себя, эксперты по информационной безопасности в первую очередь советуют с недоверием относиться к любым вложениям в электронных письмах, пришедших с незнакомых адресов.

База сданных

Киберпреступники из группировки АРТ31, которую многие эксперты считают китайской, начали использовать «Яндекс Диск» в своих атаках на компьютеры пользователей, рассказали «Известиям» в компании Positive Technologies. Ранее в этой схеме использовали другие популярные сервисы, например Dropbox. Хранилище из РФ злоумышленники задействовали впервые, утверждают специалисты.

Заражение устройства происходит следующим образом: человек по электронной почте получает документ с названием, например, «список.docx». Как только он его открывает, файл начинает загрузку макроса (специального алгоритма, записанного злоумышленником заранее). Когда алгоритм приводится в действие, он загружает три файла: исполняемый (набор инструментов, заставляющий компьютер выполнить определенную задачу), вредоносную библиотеку и сам документ, который должен отвлечь внимание пользователя.

Исполняемый файл — это компонент «Яндекс Браузера», уязвимого к кибератаке

, сказали в Positive Technologies. Там уточнили: «Яндекс Браузер» в полном составе не используется, то есть у пользователя на компьютере может быть отрыт любой другой, задействован один конкретный файл. Далее вирус идет на «Яндекс Диск» и забирает оттуда необходимые ему команды, рассказали специалисты.

Фото: ИЗВЕСТИЯ/Дмитрий Коротаев

Вирус-невидимка

С начала 2022 года хакерская группировка атаковала ряд СМИ и компаний топливно-энергетического сектора по описанной технологии, зафиксировали в Positive Technologies. Вирус присылают либо по электронной почте, либо через уже существующие уязвимости в других программах, добавили специалисты по информационной безопасности.

— Исследование показало, что атакующие используют «Яндекс Диск» в качестве контрольного сервера. APT31 задействовала популярный облачный сервис в том числе для того, чтобы трафик был похож на легитимный, — объяснил «Известиям» эксперт Positive Technologies Даниил Колосков.

По его словам, вредоносное ПО, которое применяет в качестве контрольного сервера «Яндекс Диск», крайне сложно идентифицировать.

— Фактически это обычный легитимный трафик между клиентом и сервисом. Эти зловреды можно обнаружить лишь в динамике при помощи средств мониторинга, в том числе и антивирусными технологиями, — подчеркнул Даниил Колосков.

Фото: Getty Images/Andrew Brookes

«Яндекс Диск» — это стандартное облачное хранилище, и, как и другие подобные сервисы, он не проверяет содержимое папок пользователя, так как это нарушает его конфиденциальность, рассказал источник в IT-сфере. Проверить код, как и файлы, на уязвимость тоже нельзя, так как человек может их выкладывать для личного пользования, а проверять его компания не может, добавил собеседник «Известий».

В пресс-службе «Яндекса» отказались от комментариев.

Поднебесные атаки

Китайские APT-группировки для маскировки вредоносного трафика часто используют легитимные сервисы хранения данных, сказал «Известиям» руководитель подразделения Solar JSOC CERT компании «РТК-Солар» Игорь Залевский. Такой подход усложняет обнаружение канала управления в трафике и на средствах защиты, пояснил он. Эксперт рассказал, что при расследовании атак на органы власти в 2021 году специалисты компании обнаружили образцы вредоносных программы, которые «общаются» (получают команды, передают информацию) со злоумышленником при помощи популярных сервисов — API Диск-О и OneDrive.

— При расследовании деятельности этой же APT-группировки в 2022 году мы обнаружили свежие образцы угроз, которые используют «Яндекс Диск» в качестве канала управления

. Передача команд производится путем записи их в файлы с определенным именем в определенной директории, уникальной для каждого зараженного хоста. Ответы на команды передаются аналогичным образом, — подтвердил специалист.

Фото: ИЗВЕСТИЯ/Дмитрий Коротаев

Не доверяй и проверяй

Самый надежный способ защиты — не открывать файлы, полученные не из доверенных источников, да и в целом крайне внимательно относиться к любым документам из интернета, сказал «Известиям» руководитель отдела продвижения продуктов «Кода безопасности» Павел Коростелев.

— Если открыть файл всё же нужно, то лучше это делать на отдельном компьютере, на котором нет важной информации. При этом распознать атаку, если она грамотно подготовлена, практически невозможно — для этого нужно выстраивать эшелонированную защиту, что для обычного пользователя по большому счету нереально, — заявил эксперт.

Руководитель аналитического центра компании Zecurion Владимир Ульянов добавил, что с точки зрения информационной безопасности также стоит использовать антивирусы, регулярно обновлять операционную систему и установленные программы, прежде всего браузеры, а также отказываться от запуска макросов.

Сравнение Google Диск и Яндекс.Диск

Google Диск и Яндекс.Диск — популярные в России и СНГ сервисы для облачного хранения файлов. Google Диск (зарубежное название — Google Drive), как и Яндекс.Диск существуют на рынке с 2012 года. Сервисы предлагают большой начальный объём памяти для хранения файлов и документов, достаточный для обычного пользователя. Google предлагает 15 Гб памяти, а Яндекс на 5 Гб меньше. Стоит отметить, что оба хранилища входят в пакеты услуг от компаний производителей, так при подписке на Яндекс Плюс пользователи получают дополнительные 10 Гб памяти и скидку в 30 % на покупку места, а покупая подписку G Suite от Гугла пользователь получит 1 ТБ сверху имеющегося.

Стоимость дополнительного объёма памяти почти в два раза дешевле у Яндекса, например, 100 Гб в Яндекс Диске стоят 79 ₽, а у Google — 139 ₽. Оба облачных хранилища доступны для использования практически на всех устройствах, но Google Drive не поддерживается на системах под управлением Linux. Одним из минусов Яндекс Диска можно назвать присутствие рекламы, но её можно отключить при помощи покупки любой подписки. Как Google Диск, так и Яндекс Диск оснащены большим количеством дополнительных функций: встроенный офис, просмотр изображений и видео, создание альбомов, редактирование документов и т. д. Вдобавок к этим функциям Google Drive предоставляет пользователям возможность создавать одностраничные сайты (Google Сайты) и Google Формы (создание опросов и сбор данных).

Представленные облачные сервисы подойдут пользователям, которым важен предоставляемый начальный объём и низкая стоимость подписки на дополнительный. Тем людям, которым важен чистый интерфейс приложения без рекламы стоит выбрать Google Drive, если важна цена подписки, то стоит смотреть в сторону Яндекс.

Диска.

Кликайте на нужные функции, чтобы выбрать сервис по баллам.

Только различияПоказать только различающиеся характеристики

Совместная работа и личная эффективность

Уведомления

40

Управление доступом

26

Поиск и фильтры

36

Комментарии

23

Облачные хранилища

Максимальный объем диска, ГБ

5

2 048

5 120

Двухэтапная аутентификация

0

Встроенный офис

1

Увеличение диска приглашениями друзей

0

Максимальный объем файла, ГБ

3

5

10

Шифрование соединения

0

Управление пользователями

1

Просмотр медиа-файлов без загрузки

2

Автозагрузка файлов камеры в хранилище

2

История действий

4

Бесплатный объем, ГБ

3

15

10

Безопасность и конфиденциальность

Доступ по протоколу HTTPS Данные между вами и сервисом передаются по шифрованному каналу (SSL/TLS), что исключает их перехват злоумышленниками.

90

Многофакторная авторизация Совместное использование нескольких факторов снижает риск утечки данных (помимо пароля, применяются карты, сканеры отпечатков пальцев и другое).

51

Общие

Платформы

24

Веб-приложение Приложение Android Приложение iOS Приложение Windows Приложение Mac

Веб-приложение Приложение Android Приложение iOS Приложение Windows Приложение Mac

Развёртывание

12

Облако Персональный компьютер

Облако

Доступные языки

14

Русский, English

Русский

Кликайте на нужные функции, чтобы выбрать сервис по баллам.

Какой сервис вам подходит?

Google Диск

Яндекс.Диск

Оцените, пожалуйста, это сравнение

Какой сервис вам подходит?

Google Диск

Яндекс.Диск

YTsaurus: Эксабайтная система хранения и обработки теперь с открытым исходным кодом | Максим Бабенко | Яндекс | март 2023

Здравствуйте, меня зовут Максим Бабенко, я руководитель отдела технологий распределенных вычислений в Яндексе. Сегодня мы рады сообщить, что выпустили платформу YTsaurus с открытым исходным кодом. YTsaurus — одна из ключевых инфраструктурных систем больших данных, разработанная в Яндексе и ранее известная как YT.

После почти десятилетия напряженной работы мы хотим поделиться YTsaurus со всем миром. В этой статье мы познакомим вас с историей развития YT, объясним, зачем нужен YTsaurus, опишем его основные возможности и наметим области, для которых он лучше всего подходит.

Репозиторий GitHub содержит код сервера для YTsaurus, инфраструктуру развертывания с использованием k8s, веб-интерфейс для системы и клиентские SDK для популярных языков программирования, таких как C++, Java, Go и Python. Все распространяется под лицензией Apache 2.0, что означает, что каждый может загрузить и модифицировать его в соответствии со своими потребностями.

История начинается в 2006 году. К тому времени Яндекс стал достаточно крупной компанией. Вопрос о том, где хранить и как обрабатывать данные компании, перестал быть простым. В то время основное внимание уделялось журналам из нескольких сервисов. Обработка журналов включала в себя множество аналитических средств, которые могли решать широкий спектр задач, от улучшения моделей машинного обучения до анализа поведения пользователей при внесении функциональных или интерфейсных изменений в сервисы.

Идея масштабируемой и эластичной системы хранения данных, которая могла бы выполнять параллельные вычисления, не заботясь о физическом расположении данных и отказоустойчивости физических компонентов кластера, уже витала в воздухе.

В 2004 году Джеффри Дин и Санджай Гемават из Google опубликовали книгу MapReduce: Simplified Data Processing on Large Clusters. Он во многом предсказал эволюцию индустрии распределенных вычислений на следующее десятилетие. Неудивительно, что похожая реализация парадигмы MapReduce появилась в Яндексе под названием YAMR — Yet Another MapReduce.

ЯМР был построен с нуля в рекордно короткие сроки и, несомненно, оказал огромное влияние на развитие внутренней инфраструктуры компании. Однако со временем стало ясно, что многие варианты дизайна, первоначально сделанные в YAMR, не позволяли системе эффективно развиваться и масштабироваться. Например, главный сервер YAMR был единственной точкой отказа и не масштабировался.

На первый взгляд может показаться, что решение построить собственную инфраструктуру — типичный случай синдрома НИЗ, а вариант использования готового решения вроде Apache Hadoop даже не рассматривался. Но это не совсем так. В сентябре 2015 года группа инженеров Яндекса отправилась в Калифорнию, чтобы встретиться с теми, кто использует стек Hadoop в продакшене. Они задавали вопросы об ограничениях, особенностях работы и ожидаемом развитии Hadoop.

Но потом стало ясно, что стек Hadoop значительно отстает, даже по сравнению с YAMR, который уже поддерживал кодирование с затиранием и подключение по IPv6. Это были далеко не единственные проблемы.

Все проанализировав, мы решили отказаться от использования Hadoop. При этом нам пришлось выбирать между эволюционным развитием ЯМР и революционным написанием новой системы, и мы выбрали последнее решение. За пять лет до этих событий небольшая группа энтузиастов, частью которой мне посчастливилось быть, начала работу над проектом под кодовым названием YT. При должной доработке YT имел все шансы заменить YAMR.

Важно понимать, что не было возможности немедленно заменить YAMR. На пике своего развития эта система управляла кластерами, насчитывающими в общей сложности тысячи узлов, и большое количество кода приложений было основано на API YAMR. В результате процесс доработки YT и миграции с YAMR занял много лет. Подробности этой истории интересны сами по себе и, вероятно, заслуживают отдельного поста.

С 2017 года в Яндексе действует единая система MapReduce, развитие которой как по масштабам, так и по возможностям продолжается и по сей день. Сегодня компания управляет несколькими кластерами YT размером от нескольких машин до десятков тысяч серверов. Крупнейшие установки хранят эксабайты данных, используя миллионы ядер ЦП и тысячи видеокарт для круглосуточных вычислений.

Нам потребовалось почти семь лет, чтобы ответить на вопрос: «Будет ли YT открытым исходным кодом?» Но вот оно: YT не будет с открытым исходным кодом, но YTsaurus будет!

Первоначально разработанная нами система называлась «YT». Та же аббревиатура появляется во многих частях кодовой базы. Из уст в уста в Яндексе говорят, что аббревиатура «YT» предназначалась для обозначения «Таблица Яндекса», возможно, вдохновленная известной системой Google Big Table, но мы не смогли найти никаких надежных доказательств, подтверждающих эту теорию. .

Когда мы решили выпустить систему с открытым исходным кодом, нам было сложно сохранить исходное название. Проблема заключалась не только в том, что это двухбуквенное сочетание часто ассоциируется с определенной популярной платформой для видеохостинга, но и в том, что сложно найти короткие названия для продуктов, которые выставлены на продажу.

В конце концов мы остановились на имени YTsaurus. У него такая же родная и знакомая приставка «YT», и наша команда всегда относилась к проекту как к живому существу. Теперь мы наконец-то знаем его расу!

В нашей кодовой базе и текстах мы часто сокращаем «YTsaurus» до «YT». Сами пока привыкаем к полному названию 🙂

Мы сделали систему гибкой и масштабируемой, и на данный момент ее возможности не ограничиваются классической технологией MapReduce. В этом разделе я опишу основные технические возможности, доступные в версии YTsaurus с открытым исходным кодом, от низкоуровневого хранилища до высокоуровневых вычислительных примитивов.

Cypress: надежное и эффективное хранилище данных

Ядром любой системы больших данных является хранилище различных журналов, статистики, индексов и других структурированных или неструктурированных данных. YTsaurus построен на основе Cypress, отказоустойчивого хранилища на основе дерева, возможности которого можно кратко описать следующим образом: данные) в виде узлов

Прозрачное разбиение больших табличных данных на фрагменты, позволяющее рассматривать таблицу как единое целое, не слишком беспокоясь о деталях физического хранения

Поддержка механизмов хранения табличных данных на основе столбцов и строк

Поддержка сжатого хранения с использованием различных кодеков кодирования, таких как lz4 и zstd, с различными уровнями сжатия

Поддержка кодирования стирания с использованием различных кодеков стирания с различной контрольной суммой стратегии расчета, имеющие разные параметры избыточности и допустимые типы потерь

Выразительная схематизация данных с поддержкой иерархических типов и знаков сортировки данных

Фоновая репликация и восстановление стертых данных без ручного вмешательства

Семантика транзакций с поддержкой вложенных транзакций и блокировок моментальных/общих/эксклюзивных уровней

Транзакции, которые могут повлиять на многие объекты Cypress и длиться неопределенно долго

Гибкая система учета квот

В основе Cypress лежит реплицированный и масштабируемый по горизонтали главный сервер, на котором хранятся метаданные о древовидной структуре Cypress, а также о составе и расположении реплик фрагментов для всех таблиц в кластере. Главные серверы реализованы как реплицированные конечные автоматы на основе Hydra, проприетарного алгоритма консенсуса, похожего на Raft.

Cypress реализует отказоустойчивый эластичный уровень данных, который используется практически во всех аспектах системы, описанных ниже.

Вычисления MapReduce и планировщик общего назначения

Несмотря на то, что технология MapReduce уже не считается новой и необычной, ее реализация в нашей системе заслуживает внимания. Мы по-прежнему используем его для вычислений с петабайтами данных, где требуется высокая пропускная способность.

MapReduce в YTsaurus имеет следующие особенности:

• Богатая базовая модель операций: классический MapReduce (с различными стратегиями перетасовки и поддержкой многоэтапного разбиения), Map, Erase, Sort и некоторые расширения классической модели, учитывающие «сортированность» входных данных
• Горизонтальная масштабируемость вычислений: операции разбиты на задания, которые выполняются на отдельных серверах
• Поддержка сотен тысяч заданий в одной операции
• Гибкая модель иерархических вычислительных пулов с мгновенными и целостными гарантиями, а также справедливой долевое распределение недоиспользованных ресурсов между потребителями без гарантий
• Модель векторных ресурсов, позволяющая запрашивать различные вычислительные ресурсы (ЦП, ОЗУ, ГП) в разных пропорциях
• Выполнение заданий на вычислительных узлах в контейнерах, изолированных ЦП, ОЗУ, файловой системой и пространством имен процессов с использованием механизма контейнеризации Porto
• Масштабируемый планировщик, который может обслуживать кластеры с миллионом одновременных задач
• Практически весь ход вычислений сохраняется в случае обновлений или отказов узлов планировщика

YT поддерживает не только выполнение операций MapReduce, но и развертывание в кластере произвольного пользовательского кода.

В терминологии YT выполнение произвольного кода с неопределенными побочными эффектами достигается с помощью «ванильных» операций. Мы используем эту возможность для ряда других компонентов нашей платформы, о которых я расскажу ниже.

Динамические таблицы хранения k-v

Парадигма MapReduce практически не подходит для создания конвейеров интерактивных вычислений с временем отклика менее секунды. Проблема заключается не только в том, как данные обрабатываются, но и в том, как они хранятся.

Статические таблицы YT, как и набор файлов в HDFS, могут служить входными и выходными данными для вычислений MapReduce. Однако их нельзя использовать в интерактивном сценарии, поскольку они привязаны к медленному постоянному носителю данных. Для интерактивных сценариев приложения обычно используют хранилища ключей и значений. Они могут масштабироваться горизонтально, обеспечивая доступ для чтения и записи с малой задержкой.

К счастью, в 2014 году мы начали работать над динамическими таблицами в рамках YT. Они частично основаны на модели Apache HBase. Они масштабируются горизонтально и используют нашу распределенную файловую систему в качестве базового хранилища. Однако, в отличие от Apache HBase, динамические таблицы органично интегрированы в общую экосистему: они представляют собой узлы Cypress и могут использоваться во многих сценариях, где ожидаются статические таблицы.

Например, в YT можно создать динамическую таблицу в результате операции MapReduce и использовать ее для быстрого поиска и вставки на основе ключа. В то же время вы можете создать фоновый процесс MapReduce, который обрабатывает выборку данных из динамической таблицы и вычисляет по ней некоторую статистику.

• Хранение данных в модели MVCC. Пользователи могут искать значения по ключу или по метке времени
• Масштабируемость: динамические таблицы разбиты на планшеты (сегменты по диапазонам ключей), которые обслуживаются отдельными серверами
• Транзакционность: динамические таблицы представляют собой хранилище OLTP, которое может изменять множество строк в разных сегментах из разных таблиц
• Отказоустойчивость: отказ одного узла, обслуживающего планшет, приводит к перемещению этого планшета на другой узел без потери данных
• Изоляция : узлы, обслуживающие планшеты, сгруппированы в пакеты, расположенные на отдельных машинах, что обеспечивает изоляцию нагрузки
• Проверка конфликтов на уровне отдельных ключей или даже отдельных значений
• Горячие ответы данных из ОЗУ
• Встроенный SQL-подобный язык для сканирования и анализа запросов

Помимо динамических таблиц с интерфейсом хранилища k-v, система поддерживает динамические таблицы, реализующие абстракцию очереди сообщений, а именно темы и потоки. Эти очереди также можно считать таблицами, поскольку они состоят из строк и имеют собственную схему. В транзакции вы можете одновременно изменять строки как в динамической таблице k-v, так и в очереди. Это позволяет вам строить потоковую обработку поверх динамических таблиц YT с семантикой ровно один раз.

YQL

YQL — это язык запросов на основе SQL; это первый высокоуровневый примитив, созданный поверх YT. YQL занимает примерно такое же положение по отношению к YT, как Hive по отношению к Hadoop. Эта технология позволяет пользователям писать простые запросы на языке SQL, а не создавать последовательность операций MapReduce с помощью пользовательского кода. Вот пример такого запроса:

 SELECT 
 region, 
 AVG(age) AS avg_age_in_region, 
 COUNT(DISTINCT ip) AS ips_count 
 FROM `//home/production/users` 
 СГРУППИРОВАТЬ ПО РЕГИОНУ 
 ORDER BY avg_age_in_region; 

Сегодня многие задачи с большими данными можно кратко сформулировать в виде SQL-запросов. Без YQL наша экосистема была бы неполной. Это один из самых популярных инструментов как для специального анализа больших наборов данных, так и для регулярных производственных расчетов.

Преимущества YQL включают:

• Мощный механизм выполнения графов, который может создавать конвейеры MapReduce с сотнями узлов и адаптироваться во время вычислений
• Возможность построения сложных конвейеров обработки данных с использованием SQL путем сохранения подзапросов в переменных в виде цепочек зависимых запросов и транзакций
• Предсказуемое параллельное выполнение запросов любой сложности
• Эффективная реализация объединений, подзапросов и оконных функций без ограничений по их топологии или вложенности
• Обширная библиотека функций
• Поддержка пользовательских функций на C++, Python и JavaScript
• Поддержка использования моделей машинного обучения через CatBoost и TensorFlow
• Автоматическое выполнение небольших частей запросов на подготовленных вычислительных экземплярах в обход MapReduce для уменьшения задержки

CHYT

Само собой разумеется, что большинство моих читателей слышали о ClickHouse. В 2016 году эта СУБД стала пионером среди открытых технологий Яндекса и оказалась настолько успешной, что в 2021 году была выделена в отдельную компанию под названием ClickHouse Inc. исполнительный движок и множество интеграций с системами BI. Одной из приятных особенностей ClickHouse является хорошее разделение частей хранения и вычислений в исходном коде, что позволило нам построить CHYT в 2018 году — интеграцию вычислительного движка ClickHouse с YTsaurus в качестве хранилища.

В экосистеме YTsaurus CHYT предоставляет следующие возможности

• Быстрые аналитические запросы к статическим таблицам в YT с задержкой менее секунды
• Повторное использование существующих данных в кластере YTsaurus без необходимости их копирования в отдельный кластер ClickHouse
• Возможность для интеграции (например, со сторонними системами визуализации) через собственные драйверы ODBC и JDBC ClickHouse

Отмечу, что интеграция выполнена на достаточно низком уровне. Это позволяет нам использовать весь потенциал как YTsaurus, так и ClickHouse, а именно:

• Support for reading both static and dynamic tables
• Partial support of the YTsaurus transactional model
• Support for distributed inserts
• CPU-efficient conversion of columnar data from the internal YTsaurus format to the in-memory ClickHouse representation
• Aggressive кэширование данных, которое в некоторых случаях позволяет считывать данные выполнения запроса исключительно из памяти экземпляра

Код сервера ClickHouse выполняется в вышеупомянутых ванильных операциях, используя те же вычислительные ресурсы, которые могут использоваться для вычислений MapReduce. В этом смысле кластер YTsaurus действует как вычислительное облако по отношению к кластерам CHYT внутри.

Это позволяет разным пользователям или командам пользователей запускать несколько кластеров CHYT в одном кластере YT, полностью изолированных друг от друга, решая проблему разделения ресурсов облачным способом.

SPYT

В 2019 году Яндекс представил SPYT, систему, которая интегрирует Apache Spark в качестве вычислительного механизма для данных, хранящихся в YT. Подобно CHYT, ванильные операции YTsaurus предоставляют вычислительные ресурсы для кластера Spark. Apache Spark изначально был разработан для упрощения подключения к стороннему хранилищу в качестве источника данных.

SPYT также хорошо зарекомендовал себя в экосистеме YTsaurus. Это один из основных способов написания процессов ETL благодаря его богатым возможностям интеграции со сторонними системами. Под капотом Spark используется гибкий оптимизатор распределенных вычислений, который максимально увеличивает объем памяти для хранения промежуточных данных и может реализовывать вычислительные конвейеры с несколькими соединениями.

Различные SDK

Часто SDK для системы на определенном языке автоматически генерируются или пишутся кем-то из сообщества пользователей и давно не поддерживаются. В нашем случае мы сами разрабатываем все API на популярных языках (C++, Python, Java, Go). В каждом случае учитываются и продуманы все нюансы взаимодействия с системой.

Наши клиентские библиотеки, написанные на разных языках, могут повторять запросы, включая чтение или запись больших объемов данных, несмотря на возможные сбои сети и другие ошибки. При создании каждой библиотеки мы учитывали особенности языков и использовали их, чтобы сделать взаимодействие с системой максимально удобным и простым.

Веб-интерфейс

Удобный веб-интерфейс является обязательным условием для системы, используемой тысячами пользователей. Более того, мы намеренно не стали создавать отдельные веб-интерфейсы для пользователей и администраторов, что уберегло нас от распространенной ситуации, когда административный веб-интерфейс делается наспех энтузиастами: ведь пользовательская сторона важнее, и не нужно стыдно перед админами 🙂

Вот что вы можете делать с веб-интерфейсом YTsaurus:

• Навигация по Cypress для просмотра файлов, таблиц и других объектов
• Создание, переименование или удаление объектов Cypress и изменение их атрибутов
• Выполнение и просмотр MapReduce вычисления
• Выполнение и просмотр истории SQL-запросов по всем механизмам — YQL, CHYT, динамические таблицы SQL
• Администрирование системы: мониторинг работоспособности компонентов кластера, создание, удаление или блокировка пользователей, управление правами доступа и квотами, просмотр компонентов кластера версии и многое другое

Большая часть серверного кода написана на C++. Мы любим этот язык за его богатую функциональность и эффективный код. После выпуска YTsaurus с открытым исходным кодом мы надеемся поделиться большим количеством разработок, которые могут быть полезны в виде отдельных примитивов C++.

Серверный код создается с помощью компилятора clang и системы сборки CMake.

Отдельные части системы написаны на Go, Python и Java. Существует также API для разработки приложений, которые работают с YTsaurus на четырех упомянутых выше языках программирования.

База кода автоматически синхронизируется с внутренним хранилищем. Таким образом, актуальная версия YTsaurus всегда доступна извне.

YTsaurus работает на Linux x86–64.

Развертывание и администрирование

Внутри Яндекса установлено более 20 установок YTsaurus. Они сильно различаются по размеру и конфигурации: от 5 до 20 000+ хостов в одном кластере. YTsaurus также интегрирован с несколькими внутренними системами Яндекса, включая аутентификацию, контроль доступа, аудит, мониторинг, управление оборудованием и оркестрацию контейнеров. Все эти системы позволяют нам управлять кластерами с минимальными усилиями.

Для удобства пользователей мы вложили средства в разработку нашего оператора второго уровня для автоматизированного развертывания кластера YTsaurus в Kubernetes с поддержкой стандартных механизмов обновления до новой версии с даунтаймом. Оператор позволяет за несколько минут развернуть ваш кластер YTsaurus на локальной машине в миникубе, общедоступном облаке или собственной локальной установке Kubernetes.

Конфигурацией кластера можно управлять «на лету», изменяя системные узлы в дереве метаданных (Cypress). Используя основные команды Cypress, такие как list, get, set и remove, вы можете создать учетную запись, добавить пользователя или вычислительный пул, предоставить доступ к каталогу или удалить узлы кластера.

Особо следует отметить возможность динамической настройки отдельных компонентов: изменяя специальные атрибуты, вы можете настраивать размеры кэша, периоды тактов или параметры ведения журналов на узлах.

YTsaurus — это вычислительная платформа, поэтому подразумевается выполнение пользовательского кода. Для запуска и изоляции ненадежного кода YTsaurus использует Porto — систему контейнеризации, разработанную в Яндексе. Для полной изоляции пользователей в мультитенантном кластере рекомендуется установить Porto в качестве CRI Kubernetes. Это откроет весь спектр возможностей YTsaurus для изоляции заданий и использования настраиваемых сред в различных операциях.

И, конечно же, работа большой распределенной системы невозможна без инструментов наблюдаемости — логирования, количественного мониторинга и трассировки. YTsaurus ведет структурированные журналы для аудита и мониторинга действий пользователей, а также подробные журналы отладки для более глубокой диагностики проблем. Кроме того, система поддерживает экспорт метрик в формате Prometheus и доставку трассировки по протоколу Jaeger gRPC.

Давайте рассмотрим несколько вариантов использования нашей системы в Яндексе.

Одним из наиболее показательных и типичных случаев использования YTsaurus является создание DWH. Например, заказы от Яндекс Такси, Яндекс Еда, Яндекс Гастроном и Яндекс Доставка поступают в динамические таблицы YTsaurus в необработанном виде с минимальной задержкой. Объем данных достигает сотен терабайт в месяц.

Затем заказы обрабатываются с помощью различных инструментов: например, большинство аналитических витрин данных готовятся с использованием YQL и SPYT. Общий объем данных превышает 6 ПБ. CHYT используется для специального анализа, а в Yandex DataLens создаются различные визуализации. Аналогичные варианты использования существуют и для других сервисов Яндекса, таких как Яндекс Маркет, Яндекс Музыка и Яндекс Путешествия.

Существуют также очень специфические варианты использования. Например, все три суперкомпьютера Яндекса управляются планировщиком YTsaurus. Многие узлы с различными типами графических процессоров подключены к YT и распределены по разным деревьям пулов. Это позволяет пользователям явно указывать требуемую модель графического процессора и использовать данные, хранящиеся в YTsaurus.

В настоящее время динамические таблицы в YTsaurus хранят петабайты данных, и на их основе построено большое количество интерактивных сервисов. Один из крупнейших внутренних заказчиков — рекламная команда Яндекса. На конференции HighLoad++ 2022 мои коллеги рассказали о своем подходе к построению интерактивной потоковой обработки на базе YTsaurus.

YTsaurus — большой проект с богатой историей. Приглашаем всех любознательных взглянуть на YTsaurus и найти для себя что-то полезное. Возможно, вы оцените технические решения, которые мы реализовали в коде, или найдете возможность развернуть установку YTsaurus и опробовать ее на практике.

Если вы заинтересованы и хотите помочь нам в разработке системы, это было бы здорово. Поделитесь своим отзывом в Telegram-чате, а еще лучше — присылайте пулл-реквесты.

yandex-s3 · PyPI

SDK, совместимый с Asyncio, для объектного хранилища Яндекса, вдохновленный aioaws.

Эта библиотека не зависит от boto, boto3 или любых других раздутых, непрозрачных и запутанных AWS SDK. Вместо этого это написан с нуля, чтобы обеспечить чистый, безопасный и легко отлаживаемый доступ к сервисам AWS, которые я хочу использовать.

В настоящее время он поддерживает:

• S3 — список, удаление, рекурсивное удаление, создание подписанных URL-адресов загрузки, создание подписанных URL-адресов загрузки
• Подпись AWS версии 4 аутентификация для любой службы AWS (это единственная известная мне чистая и современная реализация AWS4 в python, см. core.py )

Единственные зависимости yandex-s3 , это:

• aiofiles — для асинхронного чтения файлов
• криптография — для проверки подписей SNS
• httpx — для HTTP-запросов
• pydantic — для проверки ответов

Установить

 pip установить yandex-s3
 

Использование S3

 импорт asyncio
# требуется `pip install yandex-s3`
из s3 импортировать S3Client
# требуется `pip install devtools`
из devtools импортировать отладку
асинхронная защита s3_demo():
 s3 = S3Клиент(
 access_key='<ключ доступа>',
 secret_key='<секретный ключ>',
 регион='<регион>',
 s3_bucket = 'тестовое ведро'
 )
 # загрузить файл:
 await s3. upload('каталог/подкаталог/dummy.txt', b'пустышка')
 # перечислить все файлы в ведре
 files = [f async для f в s3.list()]
 отладка (файлы)
 """
 [
 S3Файл(
 key='dir/subdir/dummy.txt',
 last_modified=datetime.datetime(...),
 размер=5,
 e_tag='...',
 storage_class = 'СТАНДАРТ',
 ),
 ] (список) len=1
 """
 # список всех файлов с заданным префиксом в корзине
 files = [f async для f в s3.list('dir/subdir/')]
 отладка (файлы)
 # # удалить файл
 # ожидание s3.delete('dir/subdir/dummy.txt')
 # # удалить два файла
 # await s3.delete('dir/subdir/file1.txt', 'dir/subdir/file2.txt')
 # удалить рекурсивно на основе префикса
 ожидание s3.delete_recursive('каталог/подкаталог')
 # сгенерировать ссылку для загрузки, пригодную для отправки в браузер, чтобы включить
 # безопасная прямая загрузка файлов (см. ниже)
 upload_data = s3.signed_upload_url(
 путь='каталог/подкаталог',
 имя файла = 'пустышка.