Mastodon on ZHub

0 posts0 participants0 posts today

HabrОзеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышлоПривет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.<a href="https://habr.com/ru/articles/876834/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/876834/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="tag">#data_lake</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#архитектура_данных</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#базы_данных</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="tag">#данные</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="tag">#data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a>

HabrData Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциямиЭпоха современных хранилищ данных началась с появления реляционных баз данных (далее БД). С появлением бизнес-аналитики следствием развития БД стала концепция Data Warehouse (корпоративное хранилище данных, DWH). Дальнейший рост объемов данных, введение термина «большие данные» и разнообразие требований к обработке привели к эволюции архитектур данных. Рассмотрим этапы эволюции архитектуры данных: чем отличаются концепции, какие у них преимущества и недостатки, для каких задач в работе с данными подходят.<a href="https://habr.com/ru/articles/846296/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/846296/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="tag">#data_lake</a> <a href="https://zhub.link/tags/data_lakehouse" class="mention hashtag" rel="tag">#data_lakehouse</a> <a href="https://zhub.link/tags/data_mesh" class="mention hashtag" rel="tag">#data_mesh</a> <a href="https://zhub.link/tags/data_fabric" class="mention hashtag" rel="tag">#data_fabric</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="tag">#кхд</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#архитектура_данных</a>

HabrКак правильно использовать большие данные: строим хранилища на MPP-СУБДНемного контекста. · Данные нужны везде — для понимания трендов и рисков, для улучшения клиентского опыта, для технической аналитики. · Вместе с цифровизацией и экспоненциальным ростом объема и разнообразия данных растет потребность в надежных, масштабируемых, производительных хранилищах. · Чтобы самостоятельно извлекать ценность из данных и оперативно использовать их в работе, нужно построить и поддерживать соответствующую инфраструктуру. Это трудозатратный подход. Сегодня поделимся нашим опытом, как снизить капиталовложения в оборудование с большим объемом памяти, добиться производительности и высокой отказоустойчивости при создании DataLake и Data Warehouse.<a href="https://habr.com/ru/companies/mws/articles/834246/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/mws/articles/834246/</a><a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="tag">#данные</a> <a href="https://zhub.link/tags/MWS" class="mention hashtag" rel="tag">#MWS</a> <a href="https://zhub.link/tags/Data_Warehouse" class="mention hashtag" rel="tag">#Data_Warehouse</a> <a href="https://zhub.link/tags/Data_Lake" class="mention hashtag" rel="tag">#Data_Lake</a> <a href="https://zhub.link/tags/Arenadata" class="mention hashtag" rel="tag">#Arenadata</a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="tag">#субд</a>

HabrКак подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать?В статье рассказываем о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта, выбрать стек, методологию и сэкономить ИТ-бюджеты.<a href="https://habr.com/ru/articles/809551/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/809551/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="tag">#кхд</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="tag">#субд</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="tag">#clickhouse</a>

HabrDatabase, Data Warehouse и Data Lake: что это и когда следует использовать каждое?Данных становится все больше. Важно уметь эффективно хранить и обрабатывать их для решения сложных бизнес-задач. Одним из первых шагов на пути к успешной стратегии является выбор технологии хранения, поиска, анализа и отчетности по данным. Как выбрать между базой данных, Data Warehouse и Data Lake? Рассмотрим ключевые различия и когда следует использовать каждое.<a href="https://habr.com/ru/companies/smartup_tech/articles/807379/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/smartup_tech/articles/807379/</a><a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="tag">#данные</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D1%8F" class="mention hashtag" rel="tag">#данные_приложения</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="tag">#data</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#базы_данных</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="tag">#data_lake</a>

HabrBig Data в облаке: строим доступное хранилищеЗа последние годы «большие данные» стали восприниматься более гибко и могут включать в себя объемы, которые ранее не рассматривались как «большие». При этом снизились затраты на хранение и обработку информации. Теперь инструменты работы с данными подобных масштабов доступны даже небольшим компаниям. Важно помнить, что работа в этом направлении включает в себя разнообразные вызовы, связанные с ограничениями оборудования, типами источников данных, сложностью анализа. Данные нужно правильно собирать, хранить и обрабатывать, а для этого нужно выстроить правильную инфраструктуру. Сегодня расскажем про решение, которое уменьшит неопределенность при работе с крупными данными и поможет максимально быстро построить с нуля удобную и недорогую систему для аналитических задач в вашей компании.<a href="https://habr.com/ru/companies/cloud_mts/articles/782226/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/cloud_mts/articles/782226/</a><a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5" class="mention hashtag" rel="tag">#объектное_хранилище</a> <a href="https://zhub.link/tags/%D0%BE%D0%B1%D1%8A%D0%B5%D0%BA%D1%82%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_s3" class="mention hashtag" rel="tag">#объектное_хранилище_s3</a> <a href="https://zhub.link/tags/s3" class="mention hashtag" rel="tag">#s3</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="tag">#big_data</a> <a href="https://zhub.link/tags/Data_Warehouse" class="mention hashtag" rel="tag">#Data_Warehouse</a> <a href="https://zhub.link/tags/Data_Lake" class="mention hashtag" rel="tag">#Data_Lake</a>

Recent searches

Search options

Administered by:

Server stats:

#Data_Warehouse