Введение в проектирование систем (System Design): как стать Senior программистом

Что такое проектирование систем (system design)?

Проектирование системы определяет архитектуру, компоненты, интерфейсы и данные для системы, удовлетворяющей заданным требованиям. Оно включает в себя идентификацию и определение функциональных и нефункциональных требований к системе, а также ограничений и компромиссов, которые должны быть сделаны в процессе разработки. Цель проектирования системы — создать эффективную, надежную и простую в обслуживании систему, отвечающую потребностям пользователей и заинтересованных сторон. Этот процесс обычно включает в себя комбинацию подходов «сверху вниз» и «снизу вверх» с упором на модульность, масштабируемость и возможность повторного использования. Надлежащий дизайн системы учитывает местоположение пользователей, используемые технологии и контент, совместно используемый в сети, в которой он находится.

Системный дизайн в программном обеспечении важен по нескольким причинам.

• Это помогает гарантировать, что конечный продукт соответствует потребностям пользователей и заинтересованных сторон. Четко определяя требования и ограничения системы, разработчики могут гарантировать, что программное обеспечение будет удобным в использовании, эффективным и действенным.
• Дизайн системы позволяет создавать масштабируемую и модульную архитектуру. Это упрощает добавление новых функций или внесение изменений в систему в будущем без нарушения существующей функциональности. Это также позволяет повторно использовать код и компоненты в разных проектах, экономя время и ресурсы.
• Дизайн системы играет решающую роль в “ремонтопригодности” программного обеспечения. Хорошо спроектированную систему легче понять, протестировать и отладить, что снижает вероятность появления новых ошибок и упрощает исправление существующих.
• Системный дизайн необходим для создания эффективного и высокопроизводительного программного обеспечения. Внимательно рассматривая требования к производительности и масштабируемости в процессе проектирования, разработчики могут гарантировать, что конечный продукт будет соответствовать требованиям пользователей и не будет создавать узких мест или сбоев при большой нагрузке.

Вопросы, которые необходимо задать перед проектированием программной системы

Важно отметить, что это всего лишь несколько примеров вопросов, которые инженер-программист должен учитывать при создании крупной системы. Вопросы будут зависеть от требований системы и домена, в котором она работает.

• Каковы цели и требования системы?
• Каковы ожидаемые модели трафика и использования системы?
• Как система должна обрабатывать сбои и ошибки?
• Как система должна обеспечивать масштабируемость и производительность?
• Как система должна обеспечивать безопасность и контроль доступа?
• Как система должна обеспечивать хранение и поиск данных?
• Как система должна обеспечивать согласованность и целостность данных?
• Как система должна обрабатывать резервные копии и восстановление данных?
• Как система должна обрабатывать мониторинг и ведение логов?
• Как система должна обрабатывать обновления и обслуживание?
• Как система должна обеспечивать интеграцию с другими системами и службами?
• Как система должна обеспечивать соответствие нормативным требованиям и конфиденциальность данных?
• Как система должна обеспечивать аварийное восстановление и обеспечение непрерывности бизнеса?
• Как система должна обрабатывать пользовательский опыт и удобство использования?

Основная цель этой статьи — помочь разработчикам понять концепции проектирования систем. Это не учебник, а скорее обзор этой темы. Теперь давайте погрузимся глубже.

Балансировщики нагрузки (Load Balancers)

Балансировщик нагрузки — это устройство или служба, распределяющая сетевой трафик или трафик приложений между несколькими серверами. Основная цель балансировщика нагрузки — повысить доступность и масштабируемость приложений за счет равномерного распределения рабочей нагрузки между несколькими серверами. Это гарантирует, что ни один сервер не станет узким местом и что система сможет обрабатывать большой объем трафика. Подумайте о попытке опорожнить большой резервуар для воды. Балансировщик нагрузки помогает опорожнить резервуар для воды, добавляя дополнительные отверстия в нижней части, чтобы увеличить поток воды, чтобы поступающая вода не вытекала из резервуара. Балансировщики нагрузки используют различные алгоритмы для определения того, как распределять трафик, например циклический (round-robin), когда запросы отправляются на каждый сервер по очереди, или метод наименьшего количества подключений, когда запросы отправляются на сервер с наименьшим числом активных подключений. Балансировщики нагрузки также могут отслеживать состояние каждого сервера, и если сервер становится недоступным, балансировщик нагрузки перенаправляет трафик на другие доступные серверы.

Балансировщики нагрузки DNS

Балансировка нагрузки DNS — еще один популярный метод распределения сетевого трафика между несколькими серверами с использованием системы доменных имен (DNS). Он настраивает различные IP-адреса для одного доменного имени. Затем он использует DNS-сервер для распределения входящего трафика на один из IP-адресов на основе алгоритма балансировки нагрузки.

Балансировка нагрузки по географическому принципу

Другим методом является балансировка нагрузки по географическому признаку, когда DNS-сервер направляет трафик на ближайший сервер в зависимости от местоположения клиента, выполняющего запрос. Это может повысить производительность и уменьшить задержку для пользователей, поскольку они направляются на ближайший к ним сервер.

Кэширование (Caching)

Кэширование — это метод, используемый при проектировании системы для повышения производительности и масштабируемости системы путем сохранения часто используемых данных во временном хранилище, известном как кэш. Есть несколько преимуществ кэширования при проектировании системы:

• Уменьшенная задержка: локальное кэширование данных может значительно сократить время, необходимое для доступа к данным, поскольку устраняет необходимость извлечения данных из удаленного местоположения. Это может привести к более быстрому времени отклика для конечного пользователя.
• Повышенная пропускная способность. Кэширование также может увеличить количество запросов, которые система может обрабатывать одновременно, поскольку оно уменьшает количество запросов, которые необходимо отправить на внутренний сервер. Это поможет предотвратить перегрузку системы в периоды высокой нагрузки.
• Снижение нагрузки на бэкэнд серверы. Кэширование также может снизить нагрузку на серверы за счет уменьшения количества запросов, которые им необходимо обрабатывать. Это может улучшить общую производительность и масштабируемость системы.
• Автономный доступ: локальное кэширование данных также может обеспечить автономный доступ к данным, даже если сервер недоступен. Это может быть особенно полезно для мобильных приложений или приложений IoT, где подключение гарантируется лишь иногда.
• Экономичность: кэширование может снизить затраты, связанные с масштабированием системы, за счет снижения нагрузки на серверы и потребности в дополнительном оборудовании или пропускной способности сети.

Кэширование в памяти (In memory caching)

Кэширование в памяти — это тип кэширования, при котором данные хранятся в основной памяти системы (ОЗУ), а не на диске. Это обеспечивает более быстрый доступ к кэшированным данным, поскольку к данным, хранящимся в памяти, можно получить доступ гораздо быстрее, чем к хранящимся на диске. Основным преимуществом кэширования в памяти является его высокая производительность. Поскольку данные хранятся в оперативной памяти, к ним можно получить доступ намного быстрее, чем к данным, хранящимся на диске. Это может значительно улучшить время отклика системы, особенно для часто используемых данных. Еще одним преимуществом кэширования в памяти является то, что оно не требует дисковых операций ввода-вывода, которые могут быть медленными и ресурсоемкими. Это может помочь снизить нагрузку на систему и повысить общую производительность. Кэширование в памяти можно реализовать с помощью различных инструментов и библиотек, таких как Memcached, Redis и Hazelcast. Эти инструменты предоставляют простой интерфейс для хранения и извлечения данных из памяти, а также их можно использовать для реализации распределенного кэширования на нескольких серверах. Стоит отметить, что кэширование в памяти имеет ограничения; в основном, размер доступной оперативной памяти для данных, которые могут быть сохранены в памяти, ограничен. Кроме того, данные, хранящиеся в памяти, являются энергозависимыми, что означает, что они будут потеряны в случае перезагрузки или сбоя системы.

CDN

Сети доставки контента (CDN) — это распределенная сеть серверов, которые доставляют контент, такой как веб-страницы, изображения и видео, пользователям в зависимости от их географического положения. CDN могут помочь с кэшированием программного обеспечения, предоставляя способ кэширования и распространения контента ближе к конечным пользователям, уменьшая задержку и повышая производительность системы. Когда пользователь запрашивает контент с веб-сайта или приложения, запрос сначала отправляется на ближайший сервер CDN, «пограничный сервер» (edge server). Пограничный сервер проверяет свой кэш, чтобы узнать, хранится ли запрошенный контент локально. Если контент найден на складе, он сразу же доставляется пользователю. Если контент не найден в кэше, пограничный сервер извлекает его с исходного сервера и локально кэширует для будущих запросов. Кэшируя контент локально на пограничных серверах, CDN могут снизить нагрузку на исходный сервер и уменьшить задержку для конечного пользователя. Это может быть особенно полезно для веб-сайтов и приложений, которые обслуживают множество пользователей, или для пользователей, находящихся далеко от исходного сервера. Кроме того, CDN также могут помочь повысить безопасность и доступность системы, обеспечивая защиту от DDoS-атак и балансировку нагрузки.

Базы данных

Проектирование схемы базы данных

Проектирование схемы базы данных — это создание схемы базы данных, которая определяет структуру данных и отношения между различными элементами данных. Сюда входит определение таблиц, полей, ключей, индексов и ограничений, составляющих базу данных. Хороший дизайн схемы базы данных необходим для обеспечения эффективности, гибкости и простоты обслуживания базы данных. Он должен быть основан на четком понимании требований и целей системы, и он должен быть масштабируемым, безопасным и надежным. Процесс проектирования схемы базы данных обычно включает несколько этапов, в том числе:

1. Определение сущностей и их отношений
2. Определение атрибутов и типов данных для каждой сущности
3. Определение ключей и ограничений для каждой таблицы
4. Создание индексов для повышения производительности запросов
5. Нормализация базы данных для устранения избыточности и улучшения целостности данных
6. Тестирование и документирование схемы для простоты использования

Также важно отметить, что проектирование — это непрерывный процесс, поскольку база данных должна меняться и адаптироваться с течением времени.

Индексы базы данных

Индекс базы данных — это структура данных, которая повышает скорость операций извлечения данных из таблицы базы данных. Это позволяет системе управления базами данных быстро находить и извлекать определенные строки данных из таблицы. Индексы создаются для одного или нескольких столбцов таблицы, а данные в этих столбцах хранятся особым образом (например, в B-дереве или хэш-таблице) для оптимизации производительности поиска. Что касается дизайна системы, индексы могут значительно повысить производительность приложения, управляемого базой данных, за счет сокращения времени, необходимого для извлечения данных из таблицы. Это может быть особенно важно в больших и сложных системах, где необходимо извлечь много данных или где к данным часто обращается несколько пользователей. Использование индексов также может снизить нагрузку на сервер базы данных, так как серверу не нужно сканировать всю таблицу, чтобы найти нужные данные. Важно отметить, что создание индексов также может иметь негативные последствия, такие как увеличение дискового пространства и затрат на обновление, поэтому при создании индексов важно быть избирательным и стратегическим. Всегда рекомендуется тестировать производительность вашей системы с индексами и без них, отслеживать влияние индексов на вашу систему и вносить соответствующие коррективы.

Разделение базы данных (шардирование, sharding)

Разделение базы данных — это метод, используемый для горизонтального разделения большой базы данных на более мелкие, более управляемые части, называемые шардами (shards). Каждый шард (сегмент) представляет собой отдельное независимое хранилище данных, содержащее подмножество данных из исходной базы данных. Данные в каждом шарде обычно организованы по некоторому ключу, например идентификатору пользователя, чтобы гарантировать, что все данные для конкретного пользователя находятся в одном шарде. Разделение может быть полезно в ряде различных сценариев, например, когда база данных стала слишком большой для эффективного управления одним сервером или когда большой объем запросов на чтение или запись вызывает проблемы с производительностью. Распределяя данные по нескольким серверам, шардирование может улучшить масштабируемость и производительность приложения, управляемого базой данных. Для реализации шардирования можно использовать несколько методов, например:

• Шардирование на основе диапазона: данные разделяются на основе диапазона значений, например диапазона идентификаторов пользователей,
• Разделение на основе хэша: данные разделяются на основе хеш-функции, применяемой к значению ключа, например идентификатору пользователя,
• Разбиение на основе списка: данные разделяются на основе предопределенного списка значений, например страны или региона.

Важно отметить, что для шардирования требуется ключ шарда, который представляет собой поле, используемое для определения того, какому шарду принадлежит конкретная запись. Кроме того, важно учитывать, что шардирование усложняет систему, поэтому его следует рассматривать как крайнюю меру, когда другие решения, такие как индексирование, кэширование и оптимизация запросов, исчерпаны.

Дизайн API

Проектирование API (Application Programming Interface) включает в себя планирование и создание набора интерфейсов, протоколов и инструментов для создания программного обеспечения и приложений. Цель разработки API — предоставить согласованный и эффективный способ взаимодействия и обмена данными для различных программных систем. Обычно это включает в себя определение методов, входных и выходных данных и других спецификаций для API, а также тестирование и документирование API для простоты использования.

Репликации master-slave

В настройке репликации master-slave один сервер базы данных (master) назначается основным источником данных, а один или несколько других серверов (slave) настраиваются для репликации данных с master’а. Master-сервер постоянно обновляет свои данные и делает эти изменения доступными для slave-серверов, которые затем копируют и применяют эти изменения в своих собственных базах данных. Этот тип репликации используется для обеспечения избыточности и высокой доступности, поскольку slave-сервера могут использоваться для обработки запросов на чтение и обеспечения аварийного переключения в случае выхода из строя master’а. Его также можно использовать для масштабирования рабочих нагрузок с большим объемом операций чтения. В репликации master-slave master-сервер отвечает за обработку всех операций записи, а slave-серверы только реплицируют данные и не могут быть записаны. Это позволяет master-серверу сосредоточиться на обработке операций записи, в то время как slave-серверы обрабатывают запросы только на чтение, что может помочь повысить производительность. Существует несколько различных типов master-slave репликации, например репликация на основе операторов, репликация на основе строк или смешанная репликация, каждая из которых имеет свои преимущества и недостатки, а также различные методы репликации, такие как асинхронная и полусинхронная репликация. Важно отметить, что репликация может привести к несогласованности данных, и важно спроектировать систему таким образом, чтобы свести их к минимуму, а также иметь стратегию обработки сбоев репликации.

Существует много вариантов архитектур для построения веб-приложений. В понятие архитектуры можно включить множество вопросов. Буквально все вопросы, которые появляются перед тем как начинать делать проект, можно отнести к архитектуре. От ответов на эти вопросы будет зависеть архитектура веб приложения. При построении архитектуры нужно исходить из потребностей и требований. Если требования не ясны, то следует исключить все пробелы. Если у приложения есть публичная часть, которая должна индексироваться поисковиками, то следует посмотреть в сторону рендеринга на стороне сервера и соответствующие фреймворки. Это блоги, новостные сайты, интернет магазины, маркетплейсы и т.д.

Если веб-приложение представляет собой приватное приложение, то отличным вариантом может стать решение на основе рендеринга на стороне клиента (CSR). Это решения, основанные на SPA (Single Page Application), написанные с помощью фреймворков React, Angular, Vue, Svelte или PWA (Progressive Web Apps). Примерами таких приложений могут быть приложения для автосалонов, через которые зарегистрированный пользователь может записаться на техобслуживание. С ростом проекта нужно правильно организовать не только проект, но и работу команд. Стоит рассмотреть разделение монолита на микросервисы на бекенде, и на микрофронтенды на фронтенде. В архитектуру приложения также входит устройство бэкэнда и баз данных, наличие балансировщиков нагрузки, CDN, горизонтальное и вертикальное масштабирование и т.д. Также тема архитектуры веб-приложений популярна на собеседовании. Обычно блок вопросов по архитектуре выносят в отдельное интервью по System Design. Также рекомендую ознакомиться с обзором на книгу, которая будет полезна при проектировании высоконагруженных систем. Смотреть на Rutube