#корпоративное_хранилище_данных

0 posts0 participants0 posts today

HabrЗачем бизнесу нужно DWH и как обосновать необходимость проекта? Можно ли оценить окупаемость хранилища?Проекты внедрения DWH относятся к трудоемким и всегда требуют вложений, стоимость проектов начинается от 1,5 млн руб. К проекту необходимо привлекать системных аналитиков, архитекторов DWH, разработчиков, DevOps, дата-инженеров. Кроме затрат на ФОТ, нужны бюджеты на инфраструктуру и технологии, так как готового решения DWH из "коробки" не существует. Как при таких затратах аргументировать для бизнеса необходимость внедрения DWH? Какие бизнес-задачи может решить хранилище данных? Можно ли оценить окупаемость и эффективность внедрения? Читайте в статье.<a href="https://habr.com/ru/articles/888952/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/888952/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="tag">#кхд</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/bi" class="mention hashtag" rel="tag">#bi</a> <a href="https://zhub.link/tags/%D0%B1%D0%B8%D0%B7%D0%BD%D0%B5%D1%81%D0%B0%D0%BD%D0%B0%D0%BB%D0%B8%D1%82%D0%B8%D0%BA%D0%B0" class="mention hashtag" rel="tag">#бизнесаналитика</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#хранилище_данных</a>

HabrОзеро для дата-склада: как мы нырнули в новые методы хранения данных и что из этого вышлоПривет, Хабр! Меня зовут Михаил Килинский, я — Senior Developer в проекте Data Warehouse «Лаборатории Касперского». Наша команда строит хранилища данных и разрабатывает ETL- и ELT-процессы, мы пишем на Python, SQL и C# (.NET), а весь код находится в монорепозитории . Гибкие методологии построения хранилищ данных — очень популярный тренд. Причина — возрастающая сложность корпоративных моделей данных и необходимость интеграции большого числа разнородных источников, которые включают в себя не только традиционные СУБД и плоские файлы, но и различные real-time-брокеры сообщений, внешние API и базы данных NoSQL. В этой статье хочу рассказать, как мы изначально хранили данные, почему решили внедрить методологии Data Lake и Data Vault и к чему это привело. Кроме того, покажу, как мы изобрели свой велосипед разработали свой фреймворк по автоматизации работы с помощью модели Data Vault.<a href="https://habr.com/ru/articles/876834/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/876834/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="tag">#data_lake</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#архитектура_данных</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#базы_данных</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5" class="mention hashtag" rel="tag">#данные</a> <a href="https://zhub.link/tags/data" class="mention hashtag" rel="tag">#data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a>

HabrData Warehouse, Data Lake, Data Lakehouse, Data Fabric, Data Mesh – что это такое, и в чем разница между концепциямиЭпоха современных хранилищ данных началась с появления реляционных баз данных (далее БД). С появлением бизнес-аналитики следствием развития БД стала концепция Data Warehouse (корпоративное хранилище данных, DWH). Дальнейший рост объемов данных, введение термина «большие данные» и разнообразие требований к обработке привели к эволюции архитектур данных. Рассмотрим этапы эволюции архитектуры данных: чем отличаются концепции, какие у них преимущества и недостатки, для каких задач в работе с данными подходят.<a href="https://habr.com/ru/articles/846296/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/846296/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/data_lake" class="mention hashtag" rel="tag">#data_lake</a> <a href="https://zhub.link/tags/data_lakehouse" class="mention hashtag" rel="tag">#data_lakehouse</a> <a href="https://zhub.link/tags/data_mesh" class="mention hashtag" rel="tag">#data_mesh</a> <a href="https://zhub.link/tags/data_fabric" class="mention hashtag" rel="tag">#data_fabric</a> <a href="https://zhub.link/tags/%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#хранилище_данных</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="tag">#кхд</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#архитектура_данных</a>

HabrКак подойти к внедрению DWH, чтобы не было «больно»? Какие методологии использовать и какой стек выбрать?В статье рассказываем о том, кому стоит задуматься о внедрении DWH, как сократить вероятность ошибок на этапе разработки проекта, выбрать стек, методологию и сэкономить ИТ-бюджеты.<a href="https://habr.com/ru/articles/809551/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/809551/</a><a href="https://zhub.link/tags/dwh" class="mention hashtag" rel="tag">#dwh</a> <a href="https://zhub.link/tags/%D0%BA%D1%85%D0%B4" class="mention hashtag" rel="tag">#кхд</a> <a href="https://zhub.link/tags/data_warehouse" class="mention hashtag" rel="tag">#data_warehouse</a> <a href="https://zhub.link/tags/%D0%BA%D0%BE%D1%80%D0%BF%D0%BE%D1%80%D0%B0%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5_%D1%85%D1%80%D0%B0%D0%BD%D0%B8%D0%BB%D0%B8%D1%89%D0%B5_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#корпоративное_хранилище_данных</a> <a href="https://zhub.link/tags/%D1%81%D1%83%D0%B1%D0%B4" class="mention hashtag" rel="tag">#субд</a> <a href="https://zhub.link/tags/clickhouse" class="mention hashtag" rel="tag">#clickhouse</a>

Recent searches

Search options

Administered by:

Server stats:

#корпоративное_хранилище_данных