ChatGPT на русском языке, бесплатноНовости и обновления в Telegram
На sponsr есть решения ваших задач
Полезные видео о фронтенде. Подпишись на Rutube
Введение в проектирование систем (System Design): как стать Senior программистом
год назад·8 мин. на чтение
Цель проектирования системы — создать эффективную, надежную и простую в обслуживании систему, отвечающую потребностям пользователей и заинтересованных сторон.
Что такое проектирование систем (system design)?
Проектирование системы определяет архитектуру, компоненты, интерфейсы и данные для системы, удовлетворяющей заданным требованиям. Оно включает в себя идентификацию и определение функциональных и нефункциональных требований к системе, а также ограничений и компромиссов, которые должны быть сделаны в процессе разработки. Цель проектирования системы — создать эффективную, надежную и простую в обслуживании систему, отвечающую потребностям пользователей и заинтересованных сторон. Этот процесс обычно включает в себя комбинацию подходов «сверху вниз» и «снизу вверх» с упором на модульность, масштабируемость и возможность повторного использования. Надлежащий дизайн системы учитывает местоположение пользователей, используемые технологии и контент, совместно используемый в сети, в которой он находится.- Это помогает гарантировать, что конечный продукт соответствует потребностям пользователей и заинтересованных сторон. Четко определяя требования и ограничения системы, разработчики могут гарантировать, что программное обеспечение будет удобным в использовании, эффективным и действенным.
- Дизайн системы позволяет создавать масштабируемую и модульную архитектуру. Это упрощает добавление новых функций или внесение изменений в систему в будущем без нарушения существующей функциональности. Это также позволяет повторно использовать код и компоненты в разных проектах, экономя время и ресурсы.
- Дизайн системы играет решающую роль в “ремонтопригодности” программного обеспечения. Хорошо спроектированную систему легче понять, протестировать и отладить, что снижает вероятность появления новых ошибок и упрощает исправление существующих.
- Системный дизайн необходим для создания эффективного и высокопроизводительного программного обеспечения. Внимательно рассматривая требования к производительности и масштабируемости в процессе проектирования, разработчики могут гарантировать, что конечный продукт будет соответствовать требованиям пользователей и не будет создавать узких мест или сбоев при большой нагрузке.
Вопросы, которые необходимо задать перед проектированием программной системы
Важно отметить, что это всего лишь несколько примеров вопросов, которые инженер-программист должен учитывать при создании крупной системы. Вопросы будут зависеть от требований системы и домена, в котором она работает.- Каковы цели и требования системы?
- Каковы ожидаемые модели трафика и использования системы?
- Как система должна обрабатывать сбои и ошибки?
- Как система должна обеспечивать масштабируемость и производительность?
- Как система должна обеспечивать безопасность и контроль доступа?
- Как система должна обеспечивать хранение и поиск данных?
- Как система должна обеспечивать согласованность и целостность данных?
- Как система должна обрабатывать резервные копии и восстановление данных?
- Как система должна обрабатывать мониторинг и ведение логов?
- Как система должна обрабатывать обновления и обслуживание?
- Как система должна обеспечивать интеграцию с другими системами и службами?
- Как система должна обеспечивать соответствие нормативным требованиям и конфиденциальность данных?
- Как система должна обеспечивать аварийное восстановление и обеспечение непрерывности бизнеса?
- Как система должна обрабатывать пользовательский опыт и удобство использования?
Балансировщики нагрузки (Load Balancers)
Балансировщик нагрузки — это устройство или служба, распределяющая сетевой трафик или трафик приложений между несколькими серверами. Основная цель балансировщика нагрузки — повысить доступность и масштабируемость приложений за счет равномерного распределения рабочей нагрузки между несколькими серверами. Это гарантирует, что ни один сервер не станет узким местом и что система сможет обрабатывать большой объем трафика. Подумайте о попытке опорожнить большой резервуар для воды. Балансировщик нагрузки помогает опорожнить резервуар для воды, добавляя дополнительные отверстия в нижней части, чтобы увеличить поток воды, чтобы поступающая вода не вытекала из резервуара. Балансировщики нагрузки используют различные алгоритмы для определения того, как распределять трафик, например циклический (round-robin), когда запросы отправляются на каждый сервер по очереди, или метод наименьшего количества подключений, когда запросы отправляются на сервер с наименьшим числом активных подключений. Балансировщики нагрузки также могут отслеживать состояние каждого сервера, и если сервер становится недоступным, балансировщик нагрузки перенаправляет трафик на другие доступные серверы.Балансировщики нагрузки DNS
Балансировка нагрузки DNS — еще один популярный метод распределения сетевого трафика между несколькими серверами с использованием системы доменных имен (DNS). Он настраивает различные IP-адреса для одного доменного имени. Затем он использует DNS-сервер для распределения входящего трафика на один из IP-адресов на основе алгоритма балансировки нагрузки.Балансировка нагрузки по географическому принципу
Другим методом является балансировка нагрузки по географическому признаку, когда DNS-сервер направляет трафик на ближайший сервер в зависимости от местоположения клиента, выполняющего запрос. Это может повысить производительность и уменьшить задержку для пользователей, поскольку они направляются на ближайший к ним сервер.Кэширование (Caching)
Кэширование — это метод, используемый при проектировании системы для повышения производительности и масштабируемости системы путем сохранения часто используемых данных во временном хранилище, известном как кэш. Есть несколько преимуществ кэширования при проектировании системы:- Уменьшенная задержка: локальное кэширование данных может значительно сократить время, необходимое для доступа к данным, поскольку устраняет необходимость извлечения данных из удаленного местоположения. Это может привести к более быстрому времени отклика для конечного пользователя.
- Повышенная пропускная способность. Кэширование также может увеличить количество запросов, которые система может обрабатывать одновременно, поскольку оно уменьшает количество запросов, которые необходимо отправить на внутренний сервер. Это поможет предотвратить перегрузку системы в периоды высокой нагрузки.
- Снижение нагрузки на бэкэнд серверы. Кэширование также может снизить нагрузку на серверы за счет уменьшения количества запросов, которые им необходимо обрабатывать. Это может улучшить общую производительность и масштабируемость системы.
- Автономный доступ: локальное кэширование данных также может обеспечить автономный доступ к данным, даже если сервер недоступен. Это может быть особенно полезно для мобильных приложений или приложений IoT, где подключение гарантируется лишь иногда.
- Экономичность: кэширование может снизить затраты, связанные с масштабированием системы, за счет снижения нагрузки на серверы и потребности в дополнительном оборудовании или пропускной способности сети.
Кэширование в памяти (In memory caching)
Кэширование в памяти — это тип кэширования, при котором данные хранятся в основной памяти системы (ОЗУ), а не на диске. Это обеспечивает более быстрый доступ к кэшированным данным, поскольку к данным, хранящимся в памяти, можно получить доступ гораздо быстрее, чем к хранящимся на диске. Основным преимуществом кэширования в памяти является его высокая производительность. Поскольку данные хранятся в оперативной памяти, к ним можно получить доступ намного быстрее, чем к данным, хранящимся на диске. Это может значительно улучшить время отклика системы, особенно для часто используемых данных. Еще одним преимуществом кэширования в памяти является то, что оно не требует дисковых операций ввода-вывода, которые могут быть медленными и ресурсоемкими. Это может помочь снизить нагрузку на систему и повысить общую производительность. Кэширование в памяти можно реализовать с помощью различных инструментов и библиотек, таких как Memcached, Redis и Hazelcast. Эти инструменты предоставляют простой интерфейс для хранения и извлечения данных из памяти, а также их можно использовать для реализации распределенного кэширования на нескольких серверах. Стоит отметить, что кэширование в памяти имеет ограничения; в основном, размер доступной оперативной памяти для данных, которые могут быть сохранены в памяти, ограничен. Кроме того, данные, хранящиеся в памяти, являются энергозависимыми, что означает, что они будут потеряны в случае перезагрузки или сбоя системы.CDN
Сети доставки контента (CDN) — это распределенная сеть серверов, которые доставляют контент, такой как веб-страницы, изображения и видео, пользователям в зависимости от их географического положения. CDN могут помочь с кэшированием программного обеспечения, предоставляя способ кэширования и распространения контента ближе к конечным пользователям, уменьшая задержку и повышая производительность системы. Когда пользователь запрашивает контент с веб-сайта или приложения, запрос сначала отправляется на ближайший сервер CDN, «пограничный сервер» (edge server). Пограничный сервер проверяет свой кэш, чтобы узнать, хранится ли запрошенный контент локально. Если контент найден на складе, он сразу же доставляется пользователю. Если контент не найден в кэше, пограничный сервер извлекает его с исходного сервера и локально кэширует для будущих запросов. Кэшируя контент локально на пограничных серверах, CDN могут снизить нагрузку на исходный сервер и уменьшить задержку для конечного пользователя. Это может быть особенно полезно для веб-сайтов и приложений, которые обслуживают множество пользователей, или для пользователей, находящихся далеко от исходного сервера. Кроме того, CDN также могут помочь повысить безопасность и доступность системы, обеспечивая защиту от DDoS-атак и балансировку нагрузки.Базы данных
Проектирование схемы базы данных
Проектирование схемы базы данных — это создание схемы базы данных, которая определяет структуру данных и отношения между различными элементами данных. Сюда входит определение таблиц, полей, ключей, индексов и ограничений, составляющих базу данных. Хороший дизайн схемы базы данных необходим для обеспечения эффективности, гибкости и простоты обслуживания базы данных. Он должен быть основан на четком понимании требований и целей системы, и он должен быть масштабируемым, безопасным и надежным. Процесс проектирования схемы базы данных обычно включает несколько этапов, в том числе:- Определение сущностей и их отношений
- Определение атрибутов и типов данных для каждой сущности
- Определение ключей и ограничений для каждой таблицы
- Создание индексов для повышения производительности запросов
- Нормализация базы данных для устранения избыточности и улучшения целостности данных
- Тестирование и документирование схемы для простоты использования
Индексы базы данных
Индекс базы данных — это структура данных, которая повышает скорость операций извлечения данных из таблицы базы данных. Это позволяет системе управления базами данных быстро находить и извлекать определенные строки данных из таблицы. Индексы создаются для одного или нескольких столбцов таблицы, а данные в этих столбцах хранятся особым образом (например, в B-дереве или хэш-таблице) для оптимизации производительности поиска. Что касается дизайна системы, индексы могут значительно повысить производительность приложения, управляемого базой данных, за счет сокращения времени, необходимого для извлечения данных из таблицы. Это может быть особенно важно в больших и сложных системах, где необходимо извлечь много данных или где к данным часто обращается несколько пользователей. Использование индексов также может снизить нагрузку на сервер базы данных, так как серверу не нужно сканировать всю таблицу, чтобы найти нужные данные. Важно отметить, что создание индексов также может иметь негативные последствия, такие как увеличение дискового пространства и затрат на обновление, поэтому при создании индексов важно быть избирательным и стратегическим. Всегда рекомендуется тестировать производительность вашей системы с индексами и без них, отслеживать влияние индексов на вашу систему и вносить соответствующие коррективы.Разделение базы данных (шардирование, sharding)
Разделение базы данных — это метод, используемый для горизонтального разделения большой базы данных на более мелкие, более управляемые части, называемые шардами (shards). Каждый шард (сегмент) представляет собой отдельное независимое хранилище данных, содержащее подмножество данных из исходной базы данных. Данные в каждом шарде обычно организованы по некоторому ключу, например идентификатору пользователя, чтобы гарантировать, что все данные для конкретного пользователя находятся в одном шарде. Разделение может быть полезно в ряде различных сценариев, например, когда база данных стала слишком большой для эффективного управления одним сервером или когда большой объем запросов на чтение или запись вызывает проблемы с производительностью. Распределяя данные по нескольким серверам, шардирование может улучшить масштабируемость и производительность приложения, управляемого базой данных. Для реализации шардирования можно использовать несколько методов, например:- Шардирование на основе диапазона: данные разделяются на основе диапазона значений, например диапазона идентификаторов пользователей,
- Разделение на основе хэша: данные разделяются на основе хеш-функции, применяемой к значению ключа, например идентификатору пользователя,
- Разбиение на основе списка: данные разделяются на основе предопределенного списка значений, например страны или региона.
Дизайн API
Проектирование API (Application Programming Interface) включает в себя планирование и создание набора интерфейсов, протоколов и инструментов для создания программного обеспечения и приложений. Цель разработки API — предоставить согласованный и эффективный способ взаимодействия и обмена данными для различных программных систем. Обычно это включает в себя определение методов, входных и выходных данных и других спецификаций для API, а также тестирование и документирование API для простоты использования.Репликации master-slave
В настройке репликации master-slave один сервер базы данных (master) назначается основным источником данных, а один или несколько других серверов (slave) настраиваются для репликации данных с master’а. Master-сервер постоянно обновляет свои данные и делает эти изменения доступными для slave-серверов, которые затем копируют и применяют эти изменения в своих собственных базах данных. Этот тип репликации используется для обеспечения избыточности и высокой доступности, поскольку slave-сервера могут использоваться для обработки запросов на чтение и обеспечения аварийного переключения в случае выхода из строя master’а. Его также можно использовать для масштабирования рабочих нагрузок с большим объемом операций чтения. В репликации master-slave master-сервер отвечает за обработку всех операций записи, а slave-серверы только реплицируют данные и не могут быть записаны. Это позволяет master-серверу сосредоточиться на обработке операций записи, в то время как slave-серверы обрабатывают запросы только на чтение, что может помочь повысить производительность. Существует несколько различных типов master-slave репликации, например репликация на основе операторов, репликация на основе строк или смешанная репликация, каждая из которых имеет свои преимущества и недостатки, а также различные методы репликации, такие как асинхронная и полусинхронная репликация. Важно отметить, что репликация может привести к несогласованности данных, и важно спроектировать систему таким образом, чтобы свести их к минимуму, а также иметь стратегию обработки сбоев репликации.Современная программная инженерия — Часть 1: Проектирование систем
год назад·11 мин. на чтение
Серия статей о современной разработке программного обеспечения
В ранние времена (конце 80-х и начале 90-х) разработка программного обеспечения в основном заключалась в программном обеспечении, которое работало локально на вашем компьютере или на мейнфреймах со значительно большей вычислительной мощностью, если у вас был к нему доступ.
Сегодня большая часть разрабатываемого программного обеспечения либо работает в облаке, либо работает на устройстве, требующем доступа к облаку, либо поддерживает другое программное обеспечение, которое также работает в облаке. Очень редко случается работать над программной системой, которая работает в ограниченном пространстве (например, встроенные программные системы), которые не имеют доступа к более мощной вычислительной платформе в другом месте. Системы бухгалтерского учета теперь обрабатывают кучи данных, размещенных на собственном железе либо в хранилище данных. В системах продаж теперь отношения с клиентами управляются третьей стороной с помощью плагинов, разработанных еще большим количеством сторонних или собственных разработчиков.
Но как эти программные системы создаются сегодня, чтобы обслуживать сотни миллионов пользователей, сохраняя при этом производительность и отзывчивость, которые мы привыкли ожидать от программного обеспечения?
В этой статье поговорим о системном проектировании, о том, как оно стал важной частью современной практики разработки программного обеспечения и как оно станет одной из ключевых областей, в которых инженеры-программисты все еще могут приносить пользу в краткосрочной и среднесрочной перспективе.
Важность проектирования систем
Проектирование системы включает в себя понимание ограничений, при которых система должна выполнять свою функцию, каковы требуемые функции и какие свойства системы важно сохранить по отношению ко всем другим свойствам. После того, как вы определили их, вы можете приступить к проектированию системы, отвечающей требованиям, и систематически планировать доставку решения.Компоненты проектирования системы
Когда мы говорим о проектировании системы, обычно это влечет за собой несколько компонентов:- Архитектура — как выглядит решение в целом? Включает ли он в себя несколько подсистем? Есть ли отдельные компоненты, составляющие единое целое? Как они взаимодействуют и как они связаны друг с другом?
- Топология — есть ли в решении многоуровневая структура? Если это распределенная система, то где службы компонентов расположены физически или логически по отношению друг к другу?
- Низкоуровневое проектирование — Какие интерфейсы вы определили, через которые взаимодействуют различные части систем? Существуют ли конкретные алгоритмы, которые вы используете для решения ключевых аспектов решения (производительность, эффективность, пропускная способность, устойчивость и т. д.)?
Принципы проектирования системы
Современные системы нуждаются в масштабировании — от однопользовательской системы до системы, которая должна быть в состоянии обрабатывать тысячи и даже миллионы пользователей одновременно. Поэтому появились несколько ключевых принципов проектирования программных систем. Вот некоторые из них, которые мы рассмотрим в этой статье:- Масштабируемость
- Надёжность
- Поддерживаемость
- Доступность
- Безопасность
Масштабируемость
Система является масштабируемой, если она может быть развернута для обработки роста нагрузки при пропорциональном росте ресурсов. Коэффициент масштабирования системы определяется как рост количества ресурсов, необходимых для обслуживания, рост нагрузки на систему. Мы сталкиваемся с двумя типичными случаями масштабирования с программными системами: вертикальное масштабирование и горизонтальное масштабирование. Вертикальное масштабирование относится к предоставлению программной системе большего запаса или ресурсов одного компьютера для обработки растущих требований. Рассмотрим случай сетевого устройства хранения данных. Чем больше места для хранения вы предоставляете с помощью устройства, тем больше данных оно может хранить. Если он необходим для обработки большего количества одновременных подключений и операций ввода-вывода (IOPS), обычно требуется добавить больше вычислительной мощности и сетевых интерфейсов, чтобы справиться с возросшей нагрузкой. Горизонтальное масштабирование относится к репликации системы или нескольких компьютеров с копиями программного обеспечения для обработки растущих требований. Рассмотрим случай сервера статического веб-содержимого, скрытого за подсистемой балансировки нагрузки. Добавление дополнительных серверов позволяет большему количеству клиентов подключаться и загружать контент с веб-серверов, а когда нагрузка спадает, количество веб-серверов может быть уменьшено до нужного размера для текущего спроса. Некоторые системы могут обрабатывать гибридное или диагональное масштабирование. Например, некоторые архитектуры распределенных баз данных позволяют разделять вычислительные узлы и узлы хранения, чтобы рабочие нагрузки с большими вычислительными ресурсами могли использовать узлы с большим количеством вычислительных ресурсов. В отличие от этого, тяжелые рабочие нагрузки операций ввода-вывода в секунду могут выполняться на узлах хранилища + вычислений. Например, приложения потоковой обработки могут разделять рабочие нагрузки, требующие больше памяти и вычислительных ресурсов (например, рабочие нагрузки поиска событий или аналитики), и масштабировать их соответствующим образом и независимо от тяжелых рабочих нагрузок операций ввода-вывода в секунду (например, сжатие и архивирование).Надёжность
Система надежна, когда она может выдержать частичный отказ и восстановление без серьезного ухудшения качества обслуживания. Часть надежности системы включает в себя предсказуемость ее операций с точки зрения задержки, пропускной способности и соблюдения согласованного диапазона операций. Обычные подходы к обеспечению надежности системы включают следующее:- Настройка резервирования системы для поддержки прозрачного или минимального аварийного переключения.
- Создание отказоустойчивости в случае внутренних ошибок или сбоев, вызванных вводом.
- Четкое определение контрактов и целевых показателей задержки, пропускной способности и доступности.
- Создание достаточных резервных мощностей для удовлетворения всплесков и органического роста нагрузки.
- Гарантии качества обслуживания для обеспечения соблюдения ограничений скорости и изоляции клиентов/операций.
- Реализация корректной деградации службы в сценариях перегрузки или катастрофического сбоя.
Поддерживаемость
Система пригодна для обслуживания, если она изменяется с соразмерными усилиями и развертывается с минимальным вмешательством пользователя. Для этого необходимо внедрить систему таким образом, чтобы предположить, что требования будут меняться, и что она достаточно гибкая, чтобы справляться с предсказуемыми изменениями. Это также означает обеспечение того, чтобы код был читабельным, чтобы следующий набор сопровождающих (которые могут быть той же командой, но смотрят на это новыми глазами в будущем) мог поддерживать программное обеспечение и развивать его для удовлетворения будущих потребностей. Никто не хочет застрять на обслуживании программного обеспечения, которое является жестким, трудно изменяемым, плохо организованным, плохо документированным, плохо спроектированным, непроверенным и бессистемно собранным. Обеспечение высокого качества кода является частью инженерного совершенства, отражающего профессионализм и превосходное мастерство. Это не только хорошо, но и, как известно, позволяет высокофункциональным и высокопроизводительным инженерным командам поставлять программное обеспечение, которое можно изменять и расширять, чтобы постоянно приносить пользу.Доступность
Если служба недоступна, возможно, она не существует. При проектировании систем следует учитывать, как система должна оставаться доступной, чтобы оставаться актуальной для клиентов и пользователей системы. Это означает:- Введение избыточности для обработки сбоев базовой системы.
- Наличие сценариев резервного копирования и восстановления, а также руководств по эксплуатации для восстановления системы после жестких сбоев.
- Удалите как можно больше единичных точек сбоев из системы.
- Наряду с горизонтальной масштабируемостью используйте региональные реплики и настройте сети доставки контента (при необходимости), чтобы сделать ваши данные доступными.
- Отслеживайте доступность вашей системы с точки зрения ваших клиентов, чтобы лучше понять, как ваша система обслуживает клиентов.
Безопасность
При проектировании систем безопасность должна рассматриваться как ключевой аспект, особенно в эпоху систем, подключенных к Интернету, когда угрозы безопасности и уязвимости могут нанести реальный вред нашим клиентам и пользователям систем. Цель создания безопасного программного обеспечения состоит не в том, чтобы достичь совершенства, а в том, чтобы понять риски, связанные с нарушениями и атаками. Наличие надлежащей модели угроз безопасности и системного подхода к пониманию того, в чем заключаются риски и какие виды угроз заслуживают приоритизации и разработки мер по их устранению, является началом безопасного проектирования и инженерной практики. Сегодня безопасность является обязательной, поскольку наши программные системы становятся частью критически важных услуг для большего числа слоев современного общества. Серьезное отношение к безопасности в системах, которые мы разрабатываем с самого начала, приближает нас к тому, чтобы лучше полагаться на программное обеспечение, которое мы создаем и развертываем для удовлетворения потребностей наших пользователей. Завоевать доверие наших клиентов достаточно сложно, и достаточно одного нарушения, чтобы потерять значительную его часть.Современные шаблоны проектирования систем
Учитывая вышеизложенные аспекты, появились некоторые закономерности для современных распределенных систем, которые по-разному решают ряд этих аспектов. Давайте рассмотрим некоторые из наиболее популярных шаблонов проектирования, которые мы видим сегодня в отношении пяти аспектов проектирования системы.Микросервисы
С появлением распределенных систем, которые сосредоточены на повышении надежности и масштабирования за счет резервирования, эффективности и производительности за счет горизонтального масштабирования, а также отказоустойчивости за счет разделения частей системы как независимо работающих сервисов, термин «микросервисы» приобрел популярность благодаря достижению следующего:- Привязка разработки, развертывания, эксплуатации и обслуживания независимых сервисов к командам, владеющим этими службами в рамках более крупной бизнес-операции. Мы можем сделать это, обслуживая внешних клиентов напрямую или косвенно через внутренних клиентов через API.
- Позволяет микросервису независимо масштабироваться в соответствии с потребностями.
- Предоставление услуг на основе четко определенного контракта позволяет реализации развиваться, чтобы оставаться автономной услугой или системой услуг.
- Масштабируемость: микросервисы без состояния, как правило, предназначены для горизонтального масштабирования, а также могут извлечь выгоду из вертикального масштабирования. В случае микросервисов, развернутых в контейнерной среде оркестровки (например, кластерах Kubernetes), микросервисы могут даже работать на одних и тех же узлах, что обеспечивает более эффективное использование существующего оборудования и масштабирование в соответствии с требованиями доступной емкости. Одним из недостатков является сложность развертывания по мере увеличения масштаба и критичности микросервисов.
- Надежность: микросервисы без состояния обычно размещаются за подсистемой балансировки нагрузки и географически распределены, чтобы избежать региональных сбоев, забирающих всю емкость системы. Одним из недостатков повышения надежности с помощью микросервисов без состояния является то, что система хранения данных, как правило, должна быть такой же или более надежной, чем реализация или развертывание микросервиса. Микросервисы с состоянием страдают от худшего из обоих подходов, где затраты на надежность обычно выражаются в виде избыточного выделения ресурсов для обработки потенциальных сбоев.
- Удобство сопровождения: микросервисы, реализующие четко определенный и стабильный контракт, обслуживаемый через API, позволяют клиентам программировать на основе этого API, а реализация развивается независимо. Однако координация изменений в API включает в себя потенциально дорогостоящую миграцию клиентов и координацию между командами, что приводит к периоду, когда микросервис имеет несколько активно поддерживаемых версий до тех пор, пока последние клиенты не перейдут из старой реализации. Ситуация только ухудшается по мере того, как все больше клиентов начинают взаимодействовать с микросервисом.
- Доступность: микросервисы обычно полагаются на среду развертывания и внешнюю инфраструктуру для удовлетворения требований клиентов к доступности. Недостатком этого является зависимость от конкретной инфраструктуры, на которой развертывается микросервис, для предоставления решения высокой доступности. Такие системы, как сервисные сетки и программные балансировщики нагрузки, становятся критически важными частями инфраструктуры, которые больше не контролируются реализацией. Это может быть хорошо, но также может быть постоянным источником обслуживания, поскольку эти системы также имеют циклы обновления и эксплуатационные расходы.
- Безопасность: аутентификация, авторизация, управление идентификацией и управление учетными данными могут быть делегированы промежуточному ПО или с помощью внешних механизмов (например, удостоверений рабочей нагрузки в Kubernetes), где реализация микросервисов может быть сосредоточена на интеграции соответствующей бизнес-логики. Недостатком, как и доступность, является то, что эти внешние части решения становятся критически важными частями инфраструктуры, которые приносят свои собственные эксплуатационные расходы поверх реализации микросервиса.
Бессерверные технологии
Как и в решениях на основе микросервисов, использование бессерверных реализаций дополнительно делегирует ключевые элементы функциональности обслуживания запросов базовой инфраструктуре. Если в микросервисах служба обслуживается постоянным процессом, бессерверные решения обычно реализуют только точку входа для обработки запроса к конечной точке (обычно URI через HTTP или gRPC). В бессерверных развертываниях фактические серверы не настраиваются, а среда развертывания запускает ресурсы по мере необходимости для обработки запросов по мере их поступления. Иногда эти ресурсы остаются в силе в течение некоторого времени, чтобы амортизировать затраты на их создание, но это должно быть деталью реализации. Давайте рассмотрим аспекты проектирования системы, чтобы увидеть, как складываются бессерверные решения:- Масштабируемость: Бессерверные решения так же горизонтально масштабируемы, как и микросервисы, если не больше, потому что они спроектированы так, чтобы иметь правильный размер по требованию. Недостатком этого подхода является необходимость большего контроля и полного делегирования функций масштабирования базовой бессерверной инфраструктуре.
- Надежность: Надежность бессерверных технологий зависит от емкости горизонтального масштабирования и маршрутизации сетевого трафика. Это имеет те же недостатки, что и решение Microservices.
- Удобство сопровождения: Бессерверные реализации более удобны в обслуживании, чем микросервисы, из-за акцента на бизнес-логике обработки запросов с минимальным шаблоном. Это имеет те же проблемы с эволюцией API, что и микросервисы.
- Доступность: бессерверные системы доступны так же, как и среда, в которой они развернуты. Это имеет те же проблемы, когда базовая инфраструктура становится более важной, чем само решение.
- Безопасность: Бессерверные реализации полностью зависят от конфигурации безопасности базовой инфраструктуры. Это имеет те же проблемы, когда базовая инфраструктура становится более важной, чем само решение.
Событийно-ориентированные системы (Event-Driven)
Тем не менее, есть некоторые проблемные области, где обработка онлайн-транзакций не требуется, а микросервисы и бессерверные реализации не совсем соответствуют всем требованиям. Рассмотрим случаи, когда обработка транзакций может выполняться в фоновом режиме или при наличии ресурсов. Другой случай касается фоновой обработки, когда результаты не обязательно являются интерактивными. Системы, управляемые событиями, следуют схеме наличия источника событий и приемников событий, откуда происходят и отправляются события (сообщения) соответственно. Обработка происходит от подписчиков и издателей к этим источникам и приемникам соответственно. Примером событийно-управляемой системы является чат-бот, который может участвовать во многих беседах (источники событий и приемники) и обрабатывать сообщения по мере их поступления. Распределенные системы, управляемые событиями, могут иметь несколько параллельных обработчиков сообщений, ожидающих в одних и тех же источниках, что может привести к публикации слишком большого количества приемников, которые выступают в качестве источников для других обработчиков сообщений. Этот шаблон объединения процессоров через приемники и источники называется конвейером событий. Как правило, существует единая реализация приемников и источников, которая предоставляет интерфейс очереди сообщений и масштабируется в соответствии со спросом на сообщения, поступающие через систему. Многие системы управления распределенными очередями также могут эффективно использовать диагональное масштабирование, например Apache Kafka, RabbitMQ и т. д. Давайте рассмотрим распределенные системы, управляемые событиями, с точки зрения наших пяти аспектов:- Масштабируемость: как реализация брокера сообщений/событий, так и обработчики сообщений могут масштабироваться независимо друг от друга. Некоторые недостатки возникают, когда обрабатывается слишком много сообщений/событий, и спрос на брокера событий растет далеко за пределы пропускной способности, доступной в системе.
- Надежность: Хорошие реализации брокера сообщений обеспечивают высокий уровень надежности, и рекомендуется не создавать собственную реализацию брокера сообщений. Недостатком является зависимость от решения, которое отвечает требованиям надежности решения (например, обработка финансовых транзакций сильно отличается от обработки маршрутизации обмена мгновенными сообщениями в чатах).
- Удобство сопровождения: Если вы используете гибкий формат обмена сообщениями, такой как буферы протоколов, вполне вероятно развивать авторов и читателей сообщений, используя один и тот же язык описания данных. Это по-прежнему требует координации, но не такой обременительной, как развивающиеся контракты API в системах обработки транзакций в реальном времени (как в микросервисах и бессерверных реализациях).
- Доступность: cистемы, управляемые событиями, обычно легче сделать доступными, тем более что они, как правило, не являются интерактивными приложениями. Стоимость доступности может быть связана с устаревшими сообщениями и неограниченными задержками обработки очередей.
- Безопасность: системы, управляемые событиями, должны управлять доступностью данных независимо от учетных данных. Обеспечение того, чтобы только определенные службы или обработчики сообщений могли получить доступ к определенным очередям сообщений или журналам, становится постоянной работой, поскольку через систему проходят более разнообразные данные.
