본문으로 건너뛰기

Backtest Integrity Lab

리테일 플랫폼은 백테스트의 Sharpe 또는 순이익을 보여주고 멈춥니다. 기관투자자는 생 백테스트를 절대 신뢰하지 않습니다 — 결과가 선택 편향 보정과 시도된 구성의 수를 견딜 수 있는지 묻습니다. Backtest Integrity Lab은 이 확인을 cMind에 가져옵니다. 결정론적 수학입니다 (AI 없음, 외부 호출 없음), 따라서 판정은 재현 가능하고 모든 숫자는 설명 가능합니다.

cBots → Integrity (/quant/integrity)에서 열 수 있습니다.

이것이 계산하는 것​

수익률 계열 (또는 자산/잔액 곡선)과 이에 도달하기 위해 시도한 매개변수 세트의 수가 주어지면, 분석기는 다음을 보고합니다:

  • Sharpe 비율 — 기간당 및 연간화 (시간의 제곱근).
  • Probabilistic Sharpe Ratio (PSR) — 참의 Sharpe가 벤치마크를 능가할 신뢰도, 거래 기록 길이, 왜도 및 첨도를 설명합니다 (Bailey & López de Prado, 2012). 짧거나 팻테일 기록은 이를 낮춥니다.
  • Deflated Sharpe Ratio (DSR) — 디플레이트된 벤치마크에 대해 측정된 PSR: 귀무 가설 하에서 N개의 무작위 시행 중 최고에서 예상할 Sharpe (거짓 전략 정리). 더 많은 구성을 시도할수록 기준이 높아집니다 — 이것이 과적합을 포착합니다.
  • t-통계량 평균 수익의. Harvey, Liu & Zhu에 따르면, 진정한 우위는 t ≥ 3.0을 통과해야 하며, 교과서의 2.0이 아닙니다.
  • 왜도 / 첨도 수익의, PSR/DSR 보정을 공급합니다.

판정​

판정의미규칙
강건함우위가 시도된 시행을 견딥니다.DSR ≥ 95% 그리고 PSR ≥ 95% 그리고 |t| ≥ 3.0
취약통계적으로 생존하지만 설득력 있게는 아닙니다 — 이것만으로는 규모를 키우지 마세요.두 사이
과적합실제 우위가 아니라 선택 편향의 인공물일 가능성이 높습니다.DSR < 90%

모든 결과는 평문 영어 근거를 포함하므로 "왜"는 절대 숨겨지지 않습니다.

Probability of Backtest Overfitting (across trials)​

시행 수를 공급하는 것이 좋습니다. 시도한 모든 구성의 실제 표본 외 계열을 공급하는 것이 더 낫습니다. 선택적 시행 그리드에 붙여넣으세요 (한 줄에 한 계열) cMind는 조합론적 대칭 교차 검증을 실행합니다 (Bailey, Borwein, López de Prado & Zhu, 2015): 관측치를 그룹으로 분할하고, 표본 내로 절반을 선택하는 모든 방식에 대해 표본 내 최고 구성을 선택하고 그 승자가 하단 절반 표본 외에 착지하는지 확인합니다. **Probability of Backtest Overfitting (PBO)**는 승자가 일반화에 실패한 분할의 분수입니다. PBO가 0에 가깝다는 것은 최고 구성이 진정으로 최고라는 의미입니다. PBO가 0.5 이상이라는 것은 선택 과정이 노이즈를 선택하고 있다는 의미입니다 — 승자가 얼마나 좋아 보였는지와 무관하게 판정은 과적합이 됩니다.

POST /api/quant/pbo
{ "trials": [[...], [...], ...] }

기본 cTrader Console 최적화기가 나오면, cMind는 전체 시행 표면을 자동으로 여기에 공급합니다.

Trials — 중요한 숫자​

Trials는 이것을 선택하기 전에 테스트한 매개변수 세트의 수입니다. 하나의 전략을 테스트하는 것과 10,000개를 테스트하고 최고를 유지하는 것은 매우 다릅니다: 두 번째는 우연히 높은 표본 내 Sharpe을 생성합니다. 정직한 시행 수를 공급하는 것이 전체 요점입니다 — 디플레이션을 높이고 "훌륭한" 백테스트를 과적합으로 이동시킬 수 있습니다. 기본 cTrader Console 최적화기가 나오면, cMind는 쓸어내기의 실제 그리드 크기를 자동으로 공급합니다.

입력​

  • 주기 수익 — 기간당 하나의 숫자 (예: 0.01 = +1%). 최소 2개. 필드는 입력할 때 유효성을 검사합니다: 유효한 숫자의 수를 세고 숫자가 아닌 토큰에 플래그를 지정하며 최소 2개의 정리된 값이 있으면 분석을 활성화합니다 (시행 그리드는 각 2개의 4개 이상 숫자 계열이 준비되면 과적합 평가를 활성화합니다).
  • 자산 / 잔액 곡선 — cMind는 연속 단순 수익률을 귀하를 위해 도출합니다.
  • 백테스트 실행에서 직접 — 복사 붙여넣기 없음. 모든 완료된 백테스트는 Backtest 목록 행 및 해당 인스턴스 상세 보기에서 백테스트 무결성 확인 아이콘을 노출합니다. 한 번 클릭하면 Lab이 해당 실행의 저장된 자산 곡선에서 실행되고 판정이 대화상자에 표시됩니다. 아이콘은 백테스트가 완료되고 보고서를 생성할 때까지 비활성화되므로 절대 죽은 제어가 아닙니다. 내부적으로 이는 POST /api/quant/integrity/backtest/{instanceId}이며, 저장된 보고서의 자산 곡선을 읽습니다.

API​

POST /api/quant/integrity
{ "returns": [0.006, 0.004, 0.006, ...], "trials": 250 }

판정, 모든 메트릭 및 근거를 반환합니다. POST /api/quant/integrity/backtest/{id}는 소유한 완료된 백테스트에서 동일한 분석을 실행합니다.

이것이 신뢰할 수 있는 이유​

통계는 인프라 종속성이 0인 도메인 코어 (Core.Quant)의 순수 함수입니다 — 네트워크 오류로 인해 중단될 수 없으며, 게시된 공식에 대한 골든 벡터 단위 테스트로 고정됩니다. 정규 CDF/역은 폐쇄형 근사치입니다 (Abramowitz-Stegun / Acklam), 따라서 동일한 입력은 항상 동일한 판정을 산출합니다.