Зачем трейдерам Big Data и какие закономерности можно найти в рыночных данных

Как анализ больших объемов данных помогает проверять торговые гипотезы и почему это сложнее, чем кажется.

На финансовом рынке постоянно меняются цены, растут и падают объемы торгов, участники выставляют заявки на покупку и продажу. За каждым движением остается множество данных, которые можно анализировать.

Но отдельное событие мало о чем говорит. Например, резкий рост объема торгов может предшествовать развороту цены или пробою определенного уровня. А может не привести ни к чему.

Чтобы понять, есть ли здесь закономерность, нужно найти сотни похожих ситуаций и посмотреть, что происходило после них. Именно для таких задач мы используем технологии Big Data.

А что, если применить анализ данных к собственной торговле?

Можно годами торговать и не замечать, что одни и те же решения мешают получать стабильный результат. Например, после серии убытков увеличивать риск или регулярно нарушать собственную стратегию. Даже подробная таблица со сделками не всегда помогает увидеть такие закономерности.

Для этого мы создали «Дневник трейдера». Сервис собирает историю сделок, сопоставляет их с правилами вашей стратегии и с помощью ИИ находит повторяющиеся ошибки. Но главное — не останавливается на статистике. Он предлагает конкретные действия: например, провести следующие 20 сделок с фиксированным риском, а затем проверить, изменился ли результат.

Так история торговли превращается не просто в отчет о прошлых сделках, а в инструмент для улучшения собственных решений. Попробовать можно бесплатно: загрузить до 100 сделок, проверить, насколько вы следуете своей стратегии, и получить анализ торговли.

👉 Проанализировать свои сделки Какие данные мы анализируем

В первую очередь нас интересует движение цены, объемы торгов и открытый интерес — количество действующих контрактов, которые еще не закрыты. Также мы изучаем биржевой стакан: список заявок на покупку и продажу актива по разным ценам. Причем важен не только его текущий вид, но и история изменений.

Мы стараемся исследовать все, что можно измерить и проверить статистически. Чем больше подходящих исторических данных, тем больше повторяющихся рыночных ситуаций мы можем изучить.

Почему собрать данные недостаточно

Одна из самых сложных задач — организовать работу с базами данных так, чтобы анализ не требовал слишком много времени и вычислительных ресурсов. Приходится тщательно оптимизировать запросы к базам данных, устранять проблемы с передачей данных между системами и следить за тем, чтобы обработка проходила корректно.

Есть и внешние ограничения. Например, пропускная способность интернет-каналов и технические лимиты облачных провайдеров. Поэтому мы заранее готовим данные к анализу, а не обрабатываем весь массив заново при каждом обращении.

Для этого используем два подхода: ETL (extract transform load) и ELT (extract load transform). Разница между ними заключается в том, на каком этапе данные преобразуются.

Сначала мы получаем исходную информацию, затем приводим ее к нужным форматам и создаем специальные агрегированные наборы данных. Это позволяет быстрее и с меньшими затратами выполнять последующие расчеты. Подготовленные данные сохраняем в собственном озере данных — хранилище, где они остаются доступными для дальнейших исследований.

Как Big Data помогает проверять торговые гипотезы

Представим, что трейдер заметил: после определенного изменения объема торгов цена иногда резко разворачивается. Можно предположить, что между этими событиями существует связь. Но несколько примеров ничего не доказывают.

Нужно найти сотни похожих ситуаций в истории рынка, изучить условия, в которых они происходили, и проверить, насколько часто за ними следовало ожидаемое движение цены. Так анализ больших массивов данных помогает находить повторяющиеся события и формирует основу для проверки торговых гипотез, в том числе гипотез об их потенциальной прибыльности.

Пример: всплеск дельты на рынке нефти

Одна из гипотез, которые мы рассматриваем, связана с дельтой объема торгов. Дельта показывает разницу между объемом сделок, совершенных по инициативе покупателей, и объемом сделок по инициативе продавцов.

Предположим, что на минутном графике нефти дельта резко увеличивается или уменьшается и за одну минуту превышает по модулю 10 000. Это означает, что за короткое время возник значительный перевес одной из сторон торгов. Такой всплеск может указывать на ситуацию, после которой произойдет сильный разворот цены или пробой ценового уровня.

Но сам по себе всплеск еще не означает, что цена обязательно изменит направление. Это только сигнал, который можно исследовать на исторических данных. Задача анализа — проверить, в каких условиях такие события действительно предшествовали значимому движению цены.

Можно ли находить новые гипотезы автоматически?

Да, анализ данных позволяет не только проверять уже существующие предположения, но и находить новые повторяющиеся ситуации. Но здесь есть ограничение: статистическая закономерность не всегда означает, что мы правильно понимаем происходящее на рынке.

Например, крупные участники торгов могут создавать движения, в результате которых срабатывают стоп-приказы небольших трейдеров. Поэтому внешне похожие ситуации могут иметь разный смысл.

Чтобы интерпретировать результаты анализа, необходимо понимать, как движется цена, как распределяются торговые объемы и что происходит возле ключевых ценовых уровней.

Большие данные помогают обнаруживать повторения. Но понять, почему они возникают и можно ли использовать их в торговле, — отдельная задача.

Поэтому для нас Big Data — не способ автоматически предсказывать рынок, а инструмент для исследования закономерностей и проверки торговых гипотез.