- Параллелизм (запросов в секунду)
- Пропускная способность (обрабатываемых строк в секунду)
- Объем данных
- Политика хранения данных
- Затраты на оборудование
- Затраты на обслуживание
Диск
Оптимизация производительности
Оптимизация затрат на хранилище
CPU
Какой CPU выбрать?
Какой должна быть загрузка CPU?
Сколько ядер CPU следует использовать?
- M-type (сценарии общего назначения): соотношение памяти к ядру CPU — 4 ГБ:1
- R-type (сценарии использования хранилища данных): соотношение памяти к ядру CPU — 8 ГБ:1
- C-type (сценарии, оптимизированные для вычислений): соотношение памяти к ядру CPU — 2 ГБ:1
Память
- Сложности запросов.
- Объёма данных, обрабатываемых в запросах.
max_bytes_before_external_group_by и max_bytes_before_external_sort), чтобы разрешить выгрузку данных на диск, но учтите, что это может существенно сказаться на производительности запросов.
Каким должно быть соотношение памяти и хранилища?
Реплики
Примеры конфигураций для крупных рабочих нагрузок
Fortune 500 B2B SaaS
| Хранилище | |
| Ежемесячный прирост данных | 30TB |
| Общий объем хранилища (в сжатом виде) | 540TB |
| Срок хранения данных | 18 месяцев |
| диск на узел | 25TB |
| CPU | |
| Параллелизм | 200+ параллельных запросов |
| Количество реплик (включая HA-пару) | 44 |
| vCPU на узел | 62 |
| Общее количество vCPU | 2700 |
| Память | |
| Общий объем оперативной памяти | 11TB |
| Оперативная память на реплику | 256GB |
| Соотношение оперативной памяти и vCPU | 4 GB:1 |
| Соотношение оперативной памяти и дискового пространства | 1:50 |
Телеком-оператор из списка Fortune 500 для сценария логирования
| Хранилище | |
| Ежемесячный объем логов | 4860TB |
| Общий объем хранилища (в сжатом виде) | 608TB |
| Срок хранения данных | 30 дней |
| Диск на узел | 13TB |
| CPU | |
| Число реплик (включая HA-пару) | 38 |
| vCPU на узел | 42 |
| общее количество vCPU | 1600 |
| Память | |
| общий объем оперативной памяти | 10TB |
| Оперативная память на реплику | 256GB |
| Соотношение оперативной памяти и vCPU | 6 GB:1 |
| Соотношение оперативной памяти и диска | 1:60 |