Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

5/10/2012 11:42:50 PM
Gravatar
Total Posts 12

Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Коллеги,

в  этом разделе форума мы будем говорить о том, как оценивать работу стратегии и смежные вопросы - оптимизация параметров стратегии согласно выбранным характеристикам, как понять, сколько параметров стратегии выбрать и т.д.

Оценка работы стратегии может быть весьма непростой задачей. Многие трейдеры не понимают (или понимают не на должном уровне), какие характеристики следует использовать для оценки работы стратегии. 

В алгоритмической торговле (как и в любой другой подотрасли в финансовом секторе) необходимо рассматривать два взаимосвязанных параметра - риск и доходность. В этом топике мы поговорим о робастных способах измерения риска и доходности.

Начнем издалека.

На самом деле оценка работы стратегии есть решения маленькой (или вполне солидной) научной проблемы. Действительно, мы начинаем с формулировки гипотезы, то есть идеи, о том, что данная торговая стретегия будет приносить деньги в будущем. Но на самом деле, мы не можем тестировать эту гипотезу. Поэтому мы первым делом отвечаем на более простой вопрос: была ли стратегия прибыльна на данном времнном интервале в прошлом при заданном наборе параметров. Если да, то мы формулируем расширенную гипотезу: результаты стратегии при данном наборе параметров лучше, чем при любом другом наборе параметров. Если вы знаете как отвечать на этот вопрос, милости просим в наш топик, расскажите, как вы это делаете. Если вы не знаете, то тем более приходите, мы расскажем свой подход к ответу на этот вопрос.

5/12/2012 5:30:50 PM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Итак, сегодня мы поговорим о такой часто используемой характеристике работы стратегии как net profit.

Одна из наиболее часто встречаемых характеристик стратегии - net profit. Говоря простым языком, net profit  - это денежный доход, который был заработан (или потерян) за время работы стратегии. Разумеется, мы хотим иметь дело со стратегиями, который приносят, а не теряют деньги. Однако сама по себе эта характеристика не проясняет насколько хороша стратегия, ведь используя net profit мы измеряем только одну сторону медали, полностью игнорируя риск. Более того, очень важно знать, насколько постоянны во времени доходы стратегии, то есть, не является ли большой показатель net profit следствием одной удачной сделки или многих маленьких. 

Проиллюстрируем сказаннае на примере. Предположим, что у нас есть две стратегии (A и B). имеющие одинаковые значения ожидаемой доходности(скажем 100 рублей), но при этом у стратегиии A стандартное отклонение вдвое больше, чем у стратегии B. Какую стратегии вы выберете? Конечно, вы можете сказать, что вы спокойно переносите риск, а следовательно, можете беспокоиться только о доходности. Но на самом деле это не совсем так.Вы можете использовать финансовый рычаг, и тем самым увеличить ожидаемую доходность вашей стратегии. Действительно, в нашем примере мы можем торговать одним контрактом стретегией А, и двумя контрактами - стратегией B. В этом случае ожидаемая доходность стратегии B при той же величине риска будет 200 рублей, а значит, она и явлется предпочтительной.   

В следующий раз мы поговорим о profit factor и отношении profit to drawdown.

5/14/2012 6:51:44 PM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Profit factor - другая очень популярная характеристика стратегии. Этому способствует простота вычисления и интегрированность во многие трейдерские программы. Profit factor - отношение дохода всех выигрышнх сделок к полному убытку. Соответственно, выигрышные стратегии будут иметь profit factor больший единицы, убыточные - меньше.

Казалось бы, profit factor - мера, которая отражает и риск и доходность... Однако, эта характреистика имеет серьёзный недостаток. На практике бывает так, что стратегия делает одну большую и очень прибыльную сделку и одновременно много небольших отрицательных. В этом случае profit factor будет большим, но стратегия не будет очень хорошей, ибо одна сделка может быть следствием простой удачи. Именно невозможность отследить насколько постоянны во времени доходы стратегии и является основным недостатком такой характеристики как profit factor

5/17/2012 1:02:57 AM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Сегодня мы поговорим об отношении profit to drawdown. Drawdown происходит тогда, когда чистая прибыль падает от своего максимального значения. Мы может вычислять drawdown каждый день и находить максимальное значение.

Если мы смотртим на отношение net profit к drawdown мы получаем характеристику, измеряющую соотношение риск - доходность. Более рискованные стратегии будут иметь большой drawdown, а следовательно, и меньшее соотношение net profit/max drawdown.

При этом есть некоторая особенность при измерении качества работы стратегии с помощью обсуждаемой величины. Особенность заключается в том, что у хорошей стратегии net profit растет линейно со временем (действительно, мы хотим, чтобы за каждый равный интервал времени стратегия приносила одинаковый доход). При этом, max drawdown не растет линейно со временем, и, вообще говоря, зависит от количества дней в тестовом периоде. Отсюда можно сделать вывод о том, что некорректно сравнивать работу стратегий на разных интервалах времени с помощью отношения net profit/max drawdown.

5/17/2012 11:30:25 PM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Хотелось бы сказать пару слов о проценте удачных сделок. Многие трейдеры используют отношение прибыльных сделок к общему числу сделок как меру работы стратегии. Мы же считаем, что эта мера не является очень удачной.

Из поведенческих финансов и здравого смысла известно, что люди хорошо принимают закрытие позиции  с прибылью и негативно - с убытком. С нашей точки зрения хуже измерять работы стратегии по сделкам, чем по временным интервалам, таким как день, месяц и т.д. 

Во многом цели получения прибыли на ежедневном(ежемесячном т.д.) базисе, и по каждой сделкой похожи. Но первый подход более робастный, так как при нём меньше возможностей получить стратегию, которая делает малое количество сделок.

5/26/2012 12:51:48 AM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Сегодня мы опишем ещё один способ оценки работы стратегии. Метод основан на линейной регрессии.

Предположим, что мы запустили стратегию в работу. Для начала определимся, как происходит торговля. А именно, торгуем ли мы заранее зданным числом лотов или заново инвестируем средства в стратегию. Для начала разберем первый случай, ибо второй отличается от него лишь первым шагом.

После запуска стратегии на исторических данных у нас появляется очень важный набор значений - кривая эквити. У хорошей стратегии линия эквити должна расти. Если мы торгуем фиксированным числом лотов, то линейно, если с реинвестированием, то экспоненциально. Таким образом, мера роста роста является очень хорошей характеристикой работы стратегии. Как вычислить эту меру роста?

На самом деле мы должны измерить линейный тренд в линии эквити, для этого оценим простую регрессию линии эквити на линейный тренд:

eqt = c + a * t + et

Нам нужна оценка коэффициента а. Но сама по себе она нам ничего не скажет, нам надо выяснить, отличается ли эта оценка от нуля. Для этого нам нужно сделать простой t-тест. При этом нужно сначала убедиться в том, что в остатках регрессии нет автокорреляций. Если это так, то мы можем просто пользоваться обычными стандартными ошибками регрессии, если же автокорреляции находятся, то следует применять HAC оценку для матрицы дисперсии в асимптотическом распределении.

 Если коеэффициент а будет значимо отличаться от нуля, то наша стратегия вполне годится для работы.

Теперь пару слов о том случае, когда мы реинвестируем средства. В этом случае нам нужно всего лишь провести весь анализ в логарифмах эквити.

6/6/2012 9:22:08 PM
Gravatar
Total Posts 7
Блог о биржевой торговле и торговых роботах Финансовая лаборатория

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Александр, у меня практический вопрос... Какой показатель на Ваш взгляд целесообразнее всего применять при оптимизации стратегии?

Я обычно применяю Recovery Factor. Иногда NetProfit, но из набора получившихся параметров, дающих достаточно похожие по NetProfit результаты  всегда выбираю те, у которых больше Recovery Factor.

Недавно обнаружил, что в генетическом оптимизаторе можно проводить оптимизацию по Sharp Ratio, но почему-то не в режиме "сырой прибыли"... а при режиме "% Equity".

 

Какой показатель при оптимизации стратегий применяете Вы?

6/7/2012 1:30:51 PM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Дмитрий, Вы задаёте очень правильный вопрос. К сожалению, стремление всё упростить и свести к одной цифре, мне кажется глубоко порочной. Приведу пример из риск-менеджмента, а, вернее, разговоров риск-менеджеров и руководства. Последние, по своей сути, не хотят вникать в детали, посему хотят иметь дело с одним числом. Во многом по этой причине Value-at-Risk стал очень популярным индикаторм. Хотя у него много недостатков.

Ситуация с анализом стратегии во многом схоже и, возможно, сложнее. Нам также нужно оценивать, насколько стратеги рискованная, смотреть как устроенны сделки, является ли она переоптимизированной, какова структура сделок и многое другое. Чтобы это сделать, нужно провести целое исследование, в котором отдельные показатели - лишь элементы методологии.

В предыдущих постах я написал о преимуществах и недостатках некоторых характеристик. В ближайшем будущем я напишу несколько слов про сравнение работы стратегий. 

Что касается рекомендаций относительно характеристик, то я бы Вам посоветовал посмотреть в сторону Treynor ratio и Calman ratio.

P.S. Меня зовут Алексей.

6/7/2012 2:01:19 PM
Gravatar
Total Posts 7
Блог о биржевой торговле и торговых роботах Финансовая лаборатория

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Алексей, прошу прощения за неправильное имя.

А эти характеристики: Treynor ration и Calman ration в каком оптимизаторе можно посмотреть? в генетическом, в Монте-Карло или что-то дополнительно нужно поставить к Велсу?

 

И может ссылочку дадите - где про эти показатели почитать можно.

6/8/2012 12:33:48 PM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Дмитрий, насколько я помню, именно эти характеристике не заложены в базовую статистику WealthLab. Но Вы можете написать свой визуализатор, который будет имплементировать всё, что Вам захочется.Технические вопросы по реализации конкретных характеристик мы будем обсуждать в другом разделе форума. 

Traynor ratio используется для оценки доходности портфеля активов. Фактически оно показывает, насколько велик средний доход портфеля по сравнению с безрисковым активом, но делает это несколько по-другому по сравнению с Sharpe ratio.Рискованность портфеля измеряется не волатильностью, но рыночной бета. В этом смысле, это отношение имеет тот же недостаток, что и Sharpe ratio, а именно мы меряем не downside risk, а любой риск изменения цены, в том числе и в желаемом направлении.

Calman ratio несколько лучше в этом смысле. Дело в том, что Calman ratio есть превышение доходности над безрисковой, измеренная по отношеню к drawdown'у. Тем самым мы измеряем именно downside risk. Разумно считать Calman ratio движущимся окном. Изначально предлагалось использовать 36-месячную длину окна.

 

7/4/2012 2:23:16 AM
Gravatar
Total Posts 5

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Добрый день, Алексей.

Хотел бы задать несколько вопросов по Монте-Карло Лаб.

1. В другом посте Арсен указывал что нужно отключить режим фьючерсов и выставить Маржин фактор 2/1.

У меня в символ инфо выставлены все бумаги и запуская параллельно "теоритическую" стратегию с реал-тайм у меня в принципе 99% сделок совпадают, в т.ч.по ценам открытия/закрытия, да и прибыль/убыток на вкладках  WLRT-брокера и статистики вэлса, да и квика) очень близки.

Оптимизитор я нагружаю, предполагая, что результат будет правдоподобен, основываясь на данных символ инфо.

Соответственно вопрос, что дают такие настройки?

2. Как анализировать графики распределения и как их использовать для дальнейшей оптимизации?

Или по крайней мере, если я прикреплю две картинки, может, дадите оценку.

 

По крайней мере, существенное спрямление линии эквити я достиг, например исключительно основываясь на ее графике, разделив периоды расчета индикаторов для длинных/коротких сделок и сроков их удержания а в качестве фитнесс-фактора ничего лучше чистого дохода не работает.

7/4/2012 3:02:10 AM
Gravatar
Total Posts 5

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Хотя если бы у меня была возможность выбирать, то я бы выбирал в качестве фитнесс-фактора максимизацию средней геометрической прироста эквити. По крайней мере, когда я экспериментировал с автоматической адаптацией параметров стратегии, основанной на обзоре и анализе на 200-300 баров назад, подгон параметров под средний геометрический прирост справлялся лучше прочих.

7/5/2012 11:38:15 AM
Gravatar
Total Posts 12

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Арсен советует отключать futeres mode по причине того, что в этом случае Вы отключаете рассчет контракта в пунктах, которые потом переводятся в доллары, а потом в рубли по фиксированному курсу. Таким образом, Вы получаете результат, который трудно интерпретировать.

Использование второго плеча вытекает из особенностей тестирования, наша методология подразумевает тестирование на 100% equity. Стало быть, использование плеча гарантирует, что все сделки будут проведены.

Касаемо Вашего второго вопроса, не ясно, о каких графиках идёт речь. Если Вы имеете в виду графика распределения APR и Drawdown, то они дают некоторое представление о том, как могла бы вести себя Ваша стратегия при других реализациях цены. Впрочем, это несколько грубое описание того, что делает Монте-Карло симулятор в Велсе

Можно дать некоторые советы относительно того, как должны в идеале выглядить указанные выше распределения. Например, если распределение просадок имеет слишком тяжелый левый хвост,то это может свидетельствовать о том, что не достаточно контролируете риски у Вашей стратегии, или что Ваша стратегия делает достаточно много убыточных сделок подряд, что также свидетельствует о недостачном внимании к риск - менеджменту.

7/5/2012 1:57:46 PM
Gravatar
Total Posts 5

Re: Оценка эффективности работы стратегии: выбор характеристик, оптимизация параметров и т.д.

Ясно. Спасибо.