Today: Tuesday 27 July 2021 , 11:36 am


advertisment
search




ClickHouse

Последнее обновление 25 минута , 24 секунды 125 Взгляды

Advertisement
In this page talks about ( ClickHouse ) It was sent to us on 27/07/2021 and was presented on 27/07/2021 and the last update on this page on 27/07/2021

Твой комментарий


Введите код
 
ClickHouse — это колоночная аналитическая СУБД с открытым кодом, позволяющая выполнять аналитические запросы в режиме реального времени на структурированных больших данных, разрабатываемая компанией Яндекс .
ClickHouse использует собственный диалект SQL близкий к стандартному, но содержащий различные расширения: массивы и вложенные структуры данных, функции высшего порядка, вероятностные структуры, функции для работы с URI, возможность для работы с внешними key-value хранилищами («словарями»), специализированные агрегатные функции, функциональности для семплирования, приблизительных вычислений, возможность создания хранимых представлений с агрегацией, наполнения таблицы из потока сообщений Apache Kafka и т. д.
Однако при этом имеются и ограничения — отсутствие транзакций, отсутствие точечных UPDATE/DELETE (пакетный UPDATE/DELETE был введен в июне 2018 года), ограниченная поддержка синтаксиса JOIN, строгие типы с необходимостью явного приведения, для некоторых операций промежуточные данные должны помещаться в оперативную память, отсутствие оконных функций, отсутствие полноценного оптимизатора запросов, точечного чтения, присутствие ограничений в реализации некоторых функций, связанных со спецификой использования ClickHouse в Яндексе, и т. д.
Система оптимизирована для хранения данных на жестких дисках (используются преимущества линейного чтения, сжатия данных). Для обеспечения отказоустойчивости и масштабируемости ClickHouse может быть развернут на кластере (для координации процесса репликации используется Apache ZooKeeper) . Для работы с базой данных существует консольный клиент, веб-клиент, HTTP интерфейс, ODBC и JDBC-драйверы , а также готовые библиотеки для интеграции со многими популярными языками программирования и библиотеками .
Во многих тестах ClickHouse показывает очень высокую производительность, выигрывая по этому показателю у таких конкурентов как Greenplum, Vertica , Amazon Redshift , Druid , InfiniDB/MariaDB ColumnStore , Apache Spark , Presto, Elasticsearch .

История

ClickHouse был разработан для решения задач веб-аналитики для Яндекс.Метрики — третьей по популярности системы веб-аналитики в мире .
Изначально в Яндекс.Метрике для построения отчетов использовались предварительно агрегированные данные .
Этот подход позволял уменьшить размер хранимых данных, однако имел ряд ограничений и недостатков:
  • необходимость заранее зафиксировать список доступных для пользователя отчетов (отсутствие возможности построить произвольный отчет);
  • предагрегации по большому количеству ключей или по ключам высокой кардинальности (таким как URL) может приводить к обратному эффекту (увеличению объёма данных);
  • поддержание логической целостности при хранении большого количества разных агрегаций затруднительно.
Альтернативный подход заключается в хранении «сырых» неагрегированных данных, производя все необходимые вычисления в момент запроса пользователя. Для этого была необходима СУБД, которая смогла бы обрабатывать неагрегированные данные Яндекс.Метрики (петабайты данных) с очень высокой эффективностью и в реальном времени, и при этом обладая приемлемой стоимостью. Поскольку на тот момент таких решений на рынке не было, то в Яндексе начали разрабатывать свою СУБД.
Первый прототип ClickHouse появился в 2009 году{{Cite weburl=https://www.percona.com/live/plam16/sessions/clickhouse-high-performance-distributed-dbms-analyticstitle=ClickHouse: High-Performance Distributed DBMS for Analytics Percona Live Amsterdam - Open Source Database Conference 2016publisher=www.percona.comaccessdate=2016-10-20. К концу 2014 года была запущена Метрика 2.0, работающая на базе ClickHouse, которая позволила пользователям строить произвольные отчеты.
В июне 2016-го года исходный код системы был выложен в open-source под лицензией Apache 2.0 .

Распространение

В 2016 году кроме Яндекс.Метрики, ClickHouse использовался в ряде различных проектов внутри Яндекса, например, в open-source проекте Яндекс.Танк для хранения данных о телеметрии, Яндекс.Маркете для мониторинга здоровья сервиса , и во внешних проектах, например, для анализа метаданных о событиях в LHCb эксперименте в CERN (порядка миллиарда событий и 1000 параметров для каждого события).
В настоящее время многие компании успешно используют ClickHouse, в том числе: Cloudflare, Bloomberg , ВКонтакте , Rambler , Тинькофф банк , NIC Labs Chile{{Cite weburl=https://www.usenix.org/conference/srecon18americas/presentation/bustostitle=Monitoring DNS with Open-Source Solutions USENIXauthor=Felipe Espinoza and Javier Bustoswebsite=SREcon18 Americasdate=2018-03-29publisher=www.usenix.orglang=enaccessdate=2018-08-17, Amadeus , Avito.ru , Criteo, ContentSquare , СМИ2 , ivi.ru , Mail.ru, , Carto, Lifestreet, Infinidat , SemRush и др.

Примечания


Ссылки

  • Официальная страница ClickHouse
  • Репозиторий ClickHouse

Категория:Свободные СУБД
 
Комментарии

Пока нет комментариев

последний раз видели
большинство посещений