#распределенные_системы

HabrТри необсуждаемых вопроса о параллельной распределённой обработке данных — чтобы жить стало легчеВ публикациях по распределённой параллельной обработке данных весьма редко разбираются сценарии отказа с точки зрения совместной работы воркеров и их влияния друг на друга. На примере решения несложного архитектурного кейса автор покажет, что ответов только на 3 вопроса при проектировании будет достаточно для обеспечения жёстких нефункциональных требований.<a href="https://habr.com/ru/articles/891744/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/891744/</a><a href="https://zhub.link/tags/%D0%BA%D0%BE%D0%BD%D0%BA%D1%83%D1%80%D0%B5%D0%BD%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="tag">#конкурентность</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D1%91%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BE%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#распределённая_обработка_данных</a> <a href="https://zhub.link/tags/%D0%B3%D0%B5%D0%BE%D1%80%D0%B5%D0%B7%D0%B5%D1%80%D0%B2%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#георезервирование</a> <a href="https://zhub.link/tags/%D1%82%D0%B0%D1%81%D0%BA%D0%BC%D0%B5%D0%BD%D0%B5%D0%B4%D0%B6%D0%B5%D1%80" class="mention hashtag" rel="tag">#таскменеджер</a> <a href="https://zhub.link/tags/%D1%82%D0%B0%D1%81%D0%BA%D1%80%D0%B0%D0%BD%D0%BD%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="tag">#таскраннеры</a> <a href="https://zhub.link/tags/%D0%B4%D0%B0%D1%82%D0%B0%D0%B8%D0%BD%D0%B6%D0%B8%D0%BD%D0%B8%D1%80%D0%B8%D0%BD%D0%B3" class="mention hashtag" rel="tag">#датаинжиниринг</a> <a href="https://zhub.link/tags/%D0%BF%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D0%B8%D0%B7%D0%BC" class="mention hashtag" rel="tag">#параллелизм</a>

HabrКонфигурирование кластерных систем с помощью Sparky и RakulangВ общем случае конфигуриоование распределенных и кластерных систем - задача непростая. Для кого может быть полезным инструмент Sparky? Если у вас не используется кубернетес и вам приходится конфигурить / обновлять распределенную инфраструктуры со сложными взаимосвязями. Здесь я покажу несколько примеров не претендующих на исчерпывающее покрытие данной темы Базовая конфигурация Для того что бы все работало необходимо установить Sparky агенты на все настаиваемые ноды вашего кластера и обеспечить сетевую связанность на уровне http/https<a href="https://habr.com/ru/articles/886660/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/886660/</a><a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%84%D1%80%D0%B0%D1%81%D1%82%D1%80%D1%83%D0%BA%D1%82%D1%83%D1%80%D0%B0" class="mention hashtag" rel="tag">#инфраструктура</a> <a href="https://zhub.link/tags/%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D1%8B" class="mention hashtag" rel="tag">#кластеры</a> <a href="https://zhub.link/tags/devops" class="mention hashtag" rel="tag">#devops</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/infrastructureasacode" class="mention hashtag" rel="tag">#infrastructureasacode</a>

HabrApache Flink: использование и автоматическая проверка собственного сериализатора состоянияПривет, Хабр! На связи Александр Бобряков, техлид команды МТС Аналитики. Это мой финальный пост про Apache Flink. В предыдущих частях мы рассматривали процессы сериализации данных, написали кастомный сериализатор, а также покрыли его тестами. В них проверялась поддержка эволюции схемы состояния. Для этого мы реализовали много удобных абстракций, связанных с перезагрузкой Flink MiniCluster, компиляцией тестовых java-классов, использованием их в classpath кластера и так далее. В этом материале мы применим разработанный сериализатор JacksonStateSerializer в бою, а также автоматизируем проверку эволюции схемы для всех наших классов, участвующих в сериализации. Весь разбираемый исходный код можно найти в репозитории AlexanderBobryakov/flink-spring . В master-ветке представлен итоговый проект по всей серии. Данная статья соответствует релизной ветке с названием release/11_JacksonEvolvingState . По мере выхода новых материалов на Хабре ссылки на них будут появляться ниже. Список моих постов про Flink:<a href="https://habr.com/ru/companies/ru_mts/articles/878070/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ru_mts/articles/878070/</a><a href="https://zhub.link/tags/java" class="mention hashtag" rel="tag">#java</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="tag">#big_data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D1%80%D0%B8%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#сериализация_данных</a> <a href="https://zhub.link/tags/%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D1%8F_%D1%81%D1%85%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#эволюция_схемы</a> <a href="https://zhub.link/tags/%D0%A2%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_Flink" class="mention hashtag" rel="tag">#Тестирование_Flink</a>

HabrОдна опция TCP-стека спасет приложение от даунтаймаВсем привет, меня зовут Вадим Макеров, я работаю в iSpring бэкенд-разработчиком. Однажды у нас в продукте был инцидент, который привел к даунтайму LMS и происходил несколько раз, в течении нескольких дней. Причина оказалась нетривиальной и находилась на уровне сетевых настроек подключений между сервисами. Узнать что за опция спасает от даунтайма<a href="https://habr.com/ru/companies/ispring/articles/869800/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ispring/articles/869800/</a><a href="https://zhub.link/tags/tcp" class="mention hashtag" rel="tag">#tcp</a> <a href="https://zhub.link/tags/go" class="mention hashtag" rel="tag">#go</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D1%82%D1%8C" class="mention hashtag" rel="tag">#сеть</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="tag">#микросервисы</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/service_mesh" class="mention hashtag" rel="tag">#service_mesh</a> <a href="https://zhub.link/tags/%D0%B8%D0%BD%D1%86%D0%B8%D0%B4%D0%B5%D0%BD%D1%82" class="mention hashtag" rel="tag">#инцидент</a> <a href="https://zhub.link/tags/kubernetes" class="mention hashtag" rel="tag">#kubernetes</a>

HabrPicostress — наш подход к нагрузочному тестированиюПривет, меня зовут Георгий Ломакин, и я инженер по нагрузочному тестированию в компании Picodata — разработчике одноимённой NewSQL СУБД. В этой статье я поделюсь своим опытом нагрузочного тестирования и расскажу, как мы строили эту практику с нуля. Мы выбираем распределённые системы за производительность и надёжность. Однако без постоянного нагрузочного тестирования и анализа отчётов после него, и то и другое лишь обещания. Конечно же, нагрузочное тестирование обязательно и в нашей команде, разрабатывающей распределённую NewSQL — базу данных Picodata .<a href="https://habr.com/ru/companies/arenadata/articles/864974/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/arenadata/articles/864974/</a><a href="https://zhub.link/tags/k6" class="mention hashtag" rel="tag">#k6</a> <a href="https://zhub.link/tags/%D0%BD%D0%B0%D0%B3%D1%80%D1%83%D0%B7%D0%BE%D1%87%D0%BD%D0%BE%D0%B5_%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#нагрузочное_тестирование</a> <a href="https://zhub.link/tags/%D1%82%D0%B5%D1%81%D1%82%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BF%D0%BE" class="mention hashtag" rel="tag">#тестирование_по</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#базы_данных</a> <a href="https://zhub.link/tags/picodata" class="mention hashtag" rel="tag">#picodata</a> <a href="https://zhub.link/tags/xk6" class="mention hashtag" rel="tag">#xk6</a> <a href="https://zhub.link/tags/go" class="mention hashtag" rel="tag">#go</a> <a href="https://zhub.link/tags/golang" class="mention hashtag" rel="tag">#golang</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/sql" class="mention hashtag" rel="tag">#sql</a>

Habr[Перевод] Почему программное обеспечение движется только вперёдВ случае масштабных систем не происходит ни откатов, ни запланированных переходов (cut-over) — ваше ПО движется только вперёд. Примечание: это электронное письмо, взятое из книги, которую я пишу последние три недели. В ней я отражаю сложную идею, которую вынашивал 10 лет. Я постарался сократить его содержание для удобства восприятия и хотел бы услышать ваши мысли по этому поводу.<a href="https://habr.com/ru/companies/ruvds/articles/856990/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ruvds/articles/856990/</a><a href="https://zhub.link/tags/ruvds_%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4" class="mention hashtag" rel="tag">#ruvds_перевод</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D0%B1%D0%B0%D0%B7%D1%8B_%D0%B4%D0%B0%D0%BD%D0%BD%D1%8B%D1%85" class="mention hashtag" rel="tag">#базы_данных</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%BF%D1%80%D0%B8%D0%BB%D0%BE%D0%B6%D0%B5%D0%BD%D0%B8%D0%B9" class="mention hashtag" rel="tag">#разработка_приложений</a> <a href="https://zhub.link/tags/%D1%8D%D0%BB%D0%B5%D0%BA%D1%82%D1%80%D0%BE%D0%BD%D0%BD%D0%B0%D1%8F_%D0%BA%D0%BE%D0%BC%D0%BC%D0%B5%D1%80%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#электронная_коммерция</a>

HabrВся правда о переходе с монолита на микросервисы, когда у тебя сеть из десятков тысяч магазинов: опыт Х5 TechПривет, Хабр! Меня зовут Алексей Топчий, я уже более 20 лет работаю в IT. Прошёл все уровни: бэкенд, фронтенд, фулстек со множеством языков и технологий. В СберТехе занимался Единой фронтальной системой, в Яндексе участвовал в стартапе, связанном с FMCG. Сейчас занимаюсь сервисом ценообразования в сети магазинов «Пятёрочка» (X5 Group). В этой статье я приоткрываю тайну бэк-офиса современного магазина и делюсь опытом, как мы развиваем программный комплекс, что интересного при этом происходит, с какими проблемами сталкиваемся и как их решаем. Статья будет полезна архитекторам, техническим менеджерам и всем, кто интересуется преобразованием корпоративных IT-ландшафтов.<a href="https://habr.com/ru/companies/netologyru/articles/857026/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/netologyru/articles/857026/</a><a href="https://zhub.link/tags/%D0%BC%D0%B0%D1%81%D1%88%D1%82%D0%B0%D0%B1%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5" class="mention hashtag" rel="tag">#масштабирование</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="tag">#микросервисы</a> <a href="https://zhub.link/tags/%D1%80%D0%B5%D1%81%D1%83%D1%80%D1%81%D1%8B_%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0" class="mention hashtag" rel="tag">#ресурсы_сервера</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C" class="mention hashtag" rel="tag">#производительность</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D0%B8%D0%BB_%D0%BC%D0%BE%D0%BD%D0%BE%D0%BB%D0%B8%D1%82%D0%B0" class="mention hashtag" rel="tag">#распил_монолита</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D0%B4%D0%B8%D0%BD%D0%B0%D0%BC%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%B0%D1%8F_%D0%B1%D0%B0%D0%BB%D0%B0%D0%BD%D1%81%D0%B8%D1%80%D0%BE%D0%B2%D0%BA%D0%B0" class="mention hashtag" rel="tag">#динамическая_балансировка</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%BD%D1%85%D1%80%D0%BE%D0%BD%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%BA%D0%BE%D0%BD%D1%84%D0%B8%D0%B3%D0%B0" class="mention hashtag" rel="tag">#синхронизация_конфига</a> <a href="https://zhub.link/tags/%D1%81%D1%82%D0%B0%D0%B1%D0%B8%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%81%D0%B1%D0%BE%D1%80%D0%BA%D0%B0" class="mention hashtag" rel="tag">#стабильная_сборка</a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D0%B8%D0%BD%D1%81%D1%82%D0%B0%D0%BB%D0%BB%D1%8F%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#деинсталляция</a>

HabrApache Flink: Сериализация и JacksonStateSerializerПривет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. Это мой десятый материал про Apache Flink. В предыдущей части мы закончили разбирать оператор с Flink-таймерами, использующими внутреннее состояние. Также я показал, как их можно тестировать с помощью классов TestHarness или Flink MiniCluster. В дополнение тестами была покрыта вся Flink-джоба, включая E2E-тесты. В этой части мы посмотрим сериализацию данных и состояний в операторах. Также напишем свой сериализатор, поддерживающий эволюцию схемы. В следующих частях протестируем его и внедрим в наше приложение. Весь разбираемый исходный код можно найти в репозитории AlexanderBobryakov/flink-spring . В master-ветке представлен итоговый проект по всей серии статей. Эта часть соответствует релизной ветке с названием release/9_JacksonStateSerializer . По мере выхода новых материалов на Хабре ссылки на них будут появляться ниже.<a href="https://habr.com/ru/companies/ru_mts/articles/856774/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ru_mts/articles/856774/</a><a href="https://zhub.link/tags/java" class="mention hashtag" rel="tag">#java</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="tag">#big_data</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/apache_flink" class="mention hashtag" rel="tag">#apache_flink</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D1%80%D0%B8%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#сериализация</a> <a href="https://zhub.link/tags/JacksonStateSerializer" class="mention hashtag" rel="tag">#JacksonStateSerializer</a> <a href="https://zhub.link/tags/TypeSerializerSnapshot" class="mention hashtag" rel="tag">#TypeSerializerSnapshot</a> <a href="https://zhub.link/tags/TypeSerializer" class="mention hashtag" rel="tag">#TypeSerializer</a> <a href="https://zhub.link/tags/%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D1%8F_%D1%81%D1%85%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#эволюция_схемы</a>

Habr[Перевод] Наиболее используемые шаблоны проектирования распределенных системШаблоны проектирования распределенных систем предоставляют разработчикам проверенные решения и передовые методы проектирования и внедрения распределенных приложений.<a href="https://habr.com/ru/articles/856452/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/856452/</a><a href="https://zhub.link/tags/%D0%B2%D0%B5%D0%B1_%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="tag">#веб_разработка</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/cassandra" class="mention hashtag" rel="tag">#cassandra</a> <a href="https://zhub.link/tags/gossip" class="mention hashtag" rel="tag">#gossip</a> <a href="https://zhub.link/tags/techlead" class="mention hashtag" rel="tag">#techlead</a> <a href="https://zhub.link/tags/pet%D0%BF%D1%80%D0%BE%D0%B5%D0%BA%D1%82%D1%8B" class="mention hashtag" rel="tag">#petпроекты</a> <a href="https://zhub.link/tags/code_review" class="mention hashtag" rel="tag">#code_review</a> <a href="https://zhub.link/tags/backend%D1%80%D0%B0%D0%B7%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0" class="mention hashtag" rel="tag">#backendразработка</a>

HabrАвтоматизация и оптимизация сигнальных процессов сервис-провайдера с помощью API шлюзаВ этой статье я делюсь гибким архитектурным подходом к автоматизации сетей уровня сервис-провайдера и своим личным опытом отладки сигнального обмена. Статья рассчитана не на новичков, а скорее тех, кто знаком с основными архитектурами и технологиями, используемыми в сетях уровня оператора и имеет в этом практический опыт.<a href="https://habr.com/ru/articles/854490/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/854490/</a><a href="https://zhub.link/tags/API" class="mention hashtag" rel="tag">#API</a> <a href="https://zhub.link/tags/%D0%90%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0" class="mention hashtag" rel="tag">#Архитектура</a> <a href="https://zhub.link/tags/%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BF%D1%80%D0%BE%D0%B2%D0%B0%D0%B9%D0%B4%D0%B5%D1%80" class="mention hashtag" rel="tag">#сервиспровайдер</a> <a href="https://zhub.link/tags/%D0%B0%D0%B2%D1%82%D0%BE%D0%BC%D0%B0%D1%82%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#автоматизация</a> <a href="https://zhub.link/tags/%D0%BC%D0%BE%D0%B1%D0%B8%D0%BB%D1%8C%D0%BD%D1%8B%D0%B9_%D0%BE%D0%BF%D0%B5%D1%80%D0%B0%D1%82%D0%BE%D1%80" class="mention hashtag" rel="tag">#мобильный_оператор</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B2%D0%B0%D0%B9%D0%B4%D0%B5%D1%80" class="mention hashtag" rel="tag">#провайдер</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a>

HabrApache Flink: Unit и E2E-тестирование оператора с таймерами в Apache FlinkПривет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущей части я рассказал про создание Flink-джобы Kafka-to-Kafka с оператором на основе встроенных таймеров. Такой пайплайн позволяет создавать вызов через определенное время после обработки события. В этом посте я расскажу, как можно протестировать операторы с таймерами и какие подводные камни могут возникнуть. Весь разбираемый исходный код есть в репозитории AlexanderBobryakov/flink-spring . В master-ветке представлен итоговый проект по всей серии. Эта статья соответствует релизной ветке с названием release/8_Test_for_Trigger_Flink_Job . Это мой девятый материал про Apache Flink. По мере выхода новых ссылки на них будут появляться ниже. Список моих статей про Flink:<a href="https://habr.com/ru/companies/ru_mts/articles/853200/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ru_mts/articles/853200/</a><a href="https://zhub.link/tags/java" class="mention hashtag" rel="tag">#java</a> <a href="https://zhub.link/tags/bigdata" class="mention hashtag" rel="tag">#bigdata</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="tag">#kafka</a> <a href="https://zhub.link/tags/apache_flink" class="mention hashtag" rel="tag">#apache_flink</a>

Habr[Перевод] Построение надежных систем: решение сложностей распределенных микросервисовПривет, Хабр! Мы в команде Nova Container Platform продолжаем серию переводов полезных материалов о микросервисной архитектуре.<a href="https://habr.com/ru/companies/orion_soft/articles/851722/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/orion_soft/articles/851722/</a><a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="tag">#микросервисы</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="tag">#распределенные_сервисы</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D0%BD%D0%B0%D1%8F_%D0%B0%D1%80%D1%85%D0%B8%D1%82%D0%B5%D0%BA%D1%82%D1%83%D1%80%D0%B0" class="mention hashtag" rel="tag">#микросервисная_архитектура</a>

HabrКак мы генерируем GPT-нейросетями миллиарды объявлений на малом количестве GPU. Доклад ЯндексаПривет! Меня зовут Ольга Зайкова, в Яндексе я руковожу группой автоматической генерации рекламы. Сегодня расскажу о соединении тяжёлых процессингов и GPU‑вычислений. Обсудим, как мы реализовали высоконагруженный процессинг, который обрабатывает миллиарды товаров и превращает их в объявления, используя тяжёлые модели, такие как YandexGPT, DSSM, CatBoost и другие. И, конечно, не обойду стороной тему проблем с нагрузкой: они возникали почти на каждом шагу.<a href="https://habr.com/ru/companies/yandex/articles/842024/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/yandex/articles/842024/</a><a href="https://zhub.link/tags/%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81" class="mention hashtag" rel="tag">#яндекс</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/yandexgpt" class="mention hashtag" rel="tag">#yandexgpt</a> <a href="https://zhub.link/tags/%D0%B0%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC%D1%8B" class="mention hashtag" rel="tag">#алгоритмы</a> <a href="https://zhub.link/tags/%D0%B4%D0%BE%D0%BA%D0%BB%D0%B0%D0%B4_%D1%8F%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0" class="mention hashtag" rel="tag">#доклад_яндекса</a>

HabrKafka для самых маленьких разработчиков, аналитиков и тестировщиковНесколько лет назад произошел Kafka-хайп. Kafka хотели использовать все, не всегда понимая, для чего конкретно она им нужна. И сегодня многие продолжают брать Kafka в свои проекты, зачастую ожидая, что её применение само по себе сделает всё лучше. С одной стороны, это может быть и хорошо. Такие шаги стимулируют индустрию. Но всё же лучше понимать, что ты делаешь, иначе проекту можно сделать только хуже. В этой статье я обращаюсь к разработчикам, аналитикам и тестировщикам, которые еще не сталкивались с Kafka по работе. Помогу понять, почему все же в микросервисной среде многие не ходят просто по REST, а используют этот инструмент - что конкретно делает Kafka и когда есть смысл её применять.<a href="https://habr.com/ru/companies/maxilect/articles/840972/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/maxilect/articles/840972/</a><a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="tag">#kafka</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D1%80%D0%B0%D0%BD%D0%B7%D0%B0%D0%BA%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="tag">#распределенные_транзакции</a> <a href="https://zhub.link/tags/%D0%BC%D0%B8%D0%BA%D1%80%D0%BE%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81%D1%8B" class="mention hashtag" rel="tag">#микросервисы</a> <a href="https://zhub.link/tags/%D0%BF%D1%80%D0%BE%D0%B1%D0%BB%D0%B5%D0%BC%D0%B0_%D0%B4%D0%B2%D1%83%D1%85_%D0%B3%D0%B5%D0%BD%D0%B5%D1%80%D0%B0%D0%BB%D0%BE%D0%B2" class="mention hashtag" rel="tag">#проблема_двух_генералов</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a>

HabrОтправка уведомлений по таймеру в Apache FlinkПривет, Хабр! На связи Александр Бобряков, техлид в команде МТС Аналитики. В предыдущих постах я рассказал, как собрать первое приложение Flink со Spring, реализовав пайплайн дедупликации сообщений Kafka-to-Kafka. В этом примере погружусь в использование таймеров в Flink, а в следующих статьях расскажу, как работать с более сложными состояниями, эволюционировать их схему и покрыть это все тестами. Весь разбираемый исходный код есть в репозитории AlexanderBobryakov/flink-spring . В master-ветке представлен итоговый проект по всей серии. Эта статья соответствует релизной ветке с названием release/7_Trigger_Flink_Job . Это восьмой материал из моей серии про Apache Flink. По мере выхода новых ссылки на них будут появляться ниже.<a href="https://habr.com/ru/companies/ru_mts/articles/839520/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ru_mts/articles/839520/</a><a href="https://zhub.link/tags/apache_flink" class="mention hashtag" rel="tag">#apache_flink</a> <a href="https://zhub.link/tags/java" class="mention hashtag" rel="tag">#java</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="tag">#big_data</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="tag">#kafka</a>

HabrДецентрализованные технологии на службе гражданского обществаГосударственные системы будут увеличивать контроль над людьми и приходить к тому, что сейчас происходит в Китае. Это в их ДНК. Мы видим, что сейчас происходит с Павлом Дуровым: его судят за свободу слова и за крипту в Телеграме. Телеграм — лучший мессенджер в мире, и недавно количество его пользователей перевалило за 1 млрд. Государства не устраивает степень свободы, которую получили люди в Телеграме. И вместо точечной работы с преступниками они хотят влиять на саму площадку. А популярные социальные сети, где есть приемлемая свобода слова, уже сегодня можно сосчитать по пальцам одной руки (спасибо Маску, что выкупил X — он следующий). Для удушения свобод государства будут использовать новые технологии — но и мы должны использовать их в борьбе за свою свободу.<a href="https://habr.com/ru/articles/839032/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/articles/839032/</a><a href="https://zhub.link/tags/%D0%B4%D0%B5%D1%86%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F" class="mention hashtag" rel="tag">#децентрализация</a> <a href="https://zhub.link/tags/%D0%B4%D0%B5%D1%86%D0%B5%D0%BD%D1%82%D1%80%D0%B0%D0%BB%D0%B8%D0%B7%D0%BE%D0%B2%D0%B0%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B5%D1%82%D0%B8" class="mention hashtag" rel="tag">#децентрализованные_сети</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D0%B3%D1%80%D0%B0%D0%B6%D0%B4%D0%B0%D0%BD%D1%81%D0%BA%D0%BE%D0%B5_%D0%BE%D0%B1%D1%89%D0%B5%D1%81%D1%82%D0%B2%D0%BE" class="mention hashtag" rel="tag">#гражданское_общество</a> <a href="https://zhub.link/tags/digital_resistance" class="mention hashtag" rel="tag">#digital_resistance</a> <a href="https://zhub.link/tags/%D1%81%D0%B2%D0%BE%D0%B1%D0%BE%D0%B4%D0%B0_%D0%B8%D0%BD%D1%84%D0%BE%D1%80%D0%BC%D0%B0%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="tag">#свобода_информации</a> <a href="https://zhub.link/tags/%D1%81%D0%B2%D0%BE%D0%B1%D0%BE%D0%B4%D0%B0_%D1%81%D0%BB%D0%BE%D0%B2%D0%B0" class="mention hashtag" rel="tag">#свобода_слова</a> <a href="https://zhub.link/tags/telegram" class="mention hashtag" rel="tag">#telegram</a> <a href="https://zhub.link/tags/montelibero" class="mention hashtag" rel="tag">#montelibero</a> <a href="https://zhub.link/tags/%D1%86%D0%B8%D1%84%D1%80%D0%BE%D0%B2%D0%BE%D0%B5_%D0%B3%D0%BE%D1%81%D1%83%D0%B4%D0%B0%D1%80%D1%81%D1%82%D0%B2%D0%BE" class="mention hashtag" rel="tag">#цифровое_государство</a>

HabrРаспределенные транзакции для самых маленькихВ этой статье рассказываем про распределенные транзакции - зачем они нужны в микросервисной архитектуре и какие у нас есть варианты реализации. Рассказ ориентирован на тех, кто не в теме - кому непонятно, зачем на простую транзакцию накручивать столько сложностей, это ведь удлиняет разработку и увеличивает количество точек отказа. Поясним зачем это нужно, приведем примеры проектов и немного пофилософствуем.<a href="https://habr.com/ru/companies/maxilect/articles/837816/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/maxilect/articles/837816/</a><a href="https://zhub.link/tags/%D1%82%D1%80%D0%B0%D0%BD%D0%B7%D0%B0%D0%BA%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="tag">#транзакции</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%82%D1%80%D0%B0%D0%BD%D0%B7%D0%B0%D0%BA%D1%86%D0%B8%D0%B8" class="mention hashtag" rel="tag">#распределенные_транзакции</a> <a href="https://zhub.link/tags/saga" class="mention hashtag" rel="tag">#saga</a> <a href="https://zhub.link/tags/cap" class="mention hashtag" rel="tag">#cap</a>

Habr[Перевод] Проблемная секундаСегодня каждый может легко проверить текущее время множеством способов. У нас есть смартфоны, часы, компьютеры, ТВ, холодильники и так далее. Все знают, какой на дворе год, и что он означает. Мы разбираемся во временны́х зонах и знаем, что такое всемирное координированное время (UTC). Всё кажется таким тривиальным. Однако с точки зрения IT-систем здесь существует множество сюрпризов, вынуждающих нас сталкиваться с проблемами, которые возникают очень редко. В различных IT-системах можно встретить множество нюансов, касающихся времени. Чаще всего они связаны с точностью его измерения и синхронизации между машинами в распределённых системах. В этой же статье я разберу одну странную ситуацию, которая за всю историю случалась лишь несколько раз.<a href="https://habr.com/ru/companies/ruvds/articles/826650/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ruvds/articles/826650/</a><a href="https://zhub.link/tags/ruvds_%D0%BF%D0%B5%D1%80%D0%B5%D0%B2%D0%BE%D0%B4" class="mention hashtag" rel="tag">#ruvds_перевод</a> <a href="https://zhub.link/tags/%D0%B2%D0%B8%D1%81%D0%BE%D0%BA%D0%BE%D1%81%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D0%BA%D1%83%D0%BD%D0%B4%D0%B0" class="mention hashtag" rel="tag">#високосная_секунда</a> <a href="https://zhub.link/tags/%D0%B4%D0%BE%D0%BF%D0%BE%D0%BB%D0%BD%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D1%81%D0%B5%D0%BA%D1%83%D0%BD%D0%B4%D0%B0" class="mention hashtag" rel="tag">#дополнительная_секунда</a> <a href="https://zhub.link/tags/%D1%81%D0%B8%D0%BD%D1%85%D1%80%D0%BE%D0%BD%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D1%8F_%D0%B2%D1%80%D0%B5%D0%BC%D0%B5%D0%BD%D0%B8" class="mention hashtag" rel="tag">#синхронизация_времени</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a>

HabrE2E-тестирование Flink Job с KafkaПривет, Хабр! С вами Александр Бобряков, техлид в команде МТС Аналитики. Я к вам с новой статьёй из цикла про фреймворк Apache Flink. В предыдущей части я рассказал, как создать Unit-тест на полноценную джобу Flink и отдельные stateful-операторы с использованием Flink MiniCluster. Ещё мы научились запускать мини-кластер один раз перед всеми тестовыми классами, которые нуждаются в нём. В дополнение создали вспомогательные абстракции и аннотации, значительно разделяя ответственность в тестах и упрощая логику написания новых тестов. В предыдущих тестах на джобу мы не затрагивали интеграцию с Kafka, ведь нам были не важны реальные source и sink. В этой статье продолжим разбираться в тестировании и напишем полноценный E2E-тест, который охватит Kafka и Flink вместе с использованием Testcontainers. Также рассмотрим неочевидные проблемы в тестировании и новые универсальные абстракции.<a href="https://habr.com/ru/companies/ru_mts/articles/819681/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/ru_mts/articles/819681/</a><a href="https://zhub.link/tags/java" class="mention hashtag" rel="tag">#java</a> <a href="https://zhub.link/tags/big_data" class="mention hashtag" rel="tag">#big_data</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/data_engineering" class="mention hashtag" rel="tag">#data_engineering</a> <a href="https://zhub.link/tags/apache_flink" class="mention hashtag" rel="tag">#apache_flink</a> <a href="https://zhub.link/tags/kafka" class="mention hashtag" rel="tag">#kafka</a>

HabrPostgres Pro Shardman: горизонтальное масштабирование реляционных СУБДПоследние несколько лет мы в Postgres Professional активно занимаемся разработкой своего решения для горизонтального масштабирования PostgreSQL. Пользователям нужен был простой способ увеличить производительность путем добавления узлов. Традиционно для веба в таких случаях просто брали NoSQL базы или шардировали вручную, позже появились распределенные SQL-решения с поддержкой ACID-транзакций. Тем не менее терялась часть возможностей и достоинств PostgreSQL. Корпоративный рынок тяжелых вертикальных решений также сильно ограничен как ценой, так и доступностью. Поэтому исследованиями в области распределенных СУБД в компании занимались еще с 2017 года, а в 2020 началась работа над коммерческим продуктом. В этой статье я расскажу про технические детали реализации и почему был сделан такой выбор технологий. Опишу, какие направления нам показались преждевременными и их пришлось отложить, а также что мы ожидаем в будущем.<a href="https://habr.com/ru/companies/postgrespro/articles/811041/" target="_blank" rel="nofollow noopener noreferrer" translate="no">https://habr.com/ru/companies/postgrespro/articles/811041/</a><a href="https://zhub.link/tags/postgresql" class="mention hashtag" rel="tag">#postgresql</a> <a href="https://zhub.link/tags/%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%BD%D1%8B%D0%B5_%D1%81%D0%B8%D1%81%D1%82%D0%B5%D0%BC%D1%8B" class="mention hashtag" rel="tag">#распределенные_системы</a> <a href="https://zhub.link/tags/sharding" class="mention hashtag" rel="tag">#sharding</a> <a href="https://zhub.link/tags/shardman" class="mention hashtag" rel="tag">#shardman</a>

Recent searches

Search options

Administered by:

Server stats:

#распределенные_системы