트레이딩 커브 피팅과 과적합 피하는 법

커브 피팅은 전략을 과거 데이터에 지나치게 맞춘 나머지 실제 엣지가 아닌 무작위 잡음까지 포착하는 현상이다. 백테스트에서는 완벽해 보이지만 실거래에서는 무너진다. 왜 이런 일이 생기고, 견고한 규칙을 어떻게 만들어야 하는지 짚어본다.

트레이딩에서 커브 피팅(과적합)이란?

커브 피팅은 과적합이라고도 한다. 트레이딩 전략을 과거 데이터에 지나치게 맞춰 반복 가능한 엣지가 아니라 무작위 잡음까지 포착하는 행위다. 규칙이 시장이 아니라 과거에 맞춰졌기 때문에 백테스트에서는 아름다운 결과가 나오고 실거래에서는 무너진다.

둘의 차이는 분명하다. 진짜 엣지는 가격이 실제로 움직이는 방식을 설명한다. 예를 들어 동일 고점 위에 손절 주문이 몰리면 가격이 그 유동성을 sweep한 뒤 반전하는 식이다. 반면 과적합된 규칙은 특정 데이터에서 이미 일어난 일을 설명한다. "화요일 9시 52분에서 10시 7분 사이에 sweep이 나올 때만 매수한다" 같은 규칙이다.

첫 번째는 새로운 데이터에서도 살아남는다. 두 번째는 그렇지 않다. 과거 수익을 만든 조건이 인과관계가 아니라 우연의 조합이었기 때문이다.

재량 트레이더든 기계적 트레이더든 이 문제를 피할 수 없다. 매개변수, 필터, "이 조건이면 건너뛴다" 같은 예외를 늘릴수록 과거 수익 곡선은 좋아 보이지만 그 의미는 줄어든다. 트레이딩에서 커브 피팅을 이해하는 일은 계좌를 복리로 키우는 시스템과 조용히 자금을 갉아먹는 시스템을 가르는 기준이다.

커브 피팅은 왜 생기는가

과적합은 드문 사고가 아니다. 통제하지 않은 최적화 과정이 거의 기본적으로 만들어내는 결과다. 프로그램은 입력한 표본에 맞는 설정을 찾아내고, 그 안에 섞인 잡음까지 학습하기 때문이다. 다음 4가지 습관이 과적합을 만든다.

매개변수를 지나치게 많이 최적화한다. 진입 비율, 손절 거리, 필터 기준값, 세션 시간대처럼 자유롭게 조정할 수 있는 변수가 하나 늘 때마다 시스템은 과거를 외울 여지를 얻는다. 매개변수 10개면 웬만한 수익 곡선도 맞출 수 있다.
가장 좋은 설정만 골라낸다. 400개 조합을 돌린 뒤 수익률이 가장 높은 1개를 남기고 나머지 399개가 실패했다는 사실은 잊는다. 견고한 설정을 고른 게 아니라 운이 가장 좋았던 구성을 고른 셈이다.
데이터가 너무 적다. 3개월 상승장에서 거래 40건으로 맞춘 규칙은 시장을 배운 게 아니다. 그 국면만 배운 것이다. 작은 표본은 거의 잡음에 가깝다.
과거의 모든 손실을 지우려고 규칙을 추가한다. 과거에 손실 난 거래를 피하려고 예외를 하나씩 붙일 때마다 전략은 해당 이력에 더 단단히 맞춰진다. 그만큼 표본 밖 데이터에서는 취약해진다.

유용한 사고방식은 자유도와 증거를 비교하는 것이다. 매개변수와 예외는 전략이 과거를 외우는 데 쓸 수 있는 자유도다. 반면 아직 보지 않은 표본에서 나온 독립적인 거래 하나하나는 증거 1단위다.

자유도가 거래 횟수에 가까워지면 시스템은 거의 어떤 과거 이력에도 맞을 수 있다. 이때 백테스트는 아무것도 알려주지 않는다. 규칙에 허용한 자유도보다 증거가 훨씬 많아야 견고성이 생긴다.

그 밑바닥에는 확실성을 원하는 심리가 있다. 거의 완벽하고 매끄러운 자산 곡선은 안전하게 느껴진다. 그래서 트레이더는 그 모양을 향해 최적화한다. 하지만 그 매끄러움 자체가 경고 신호라는 사실을 놓친다. 최적화 프로그램은 고정된 데이터에 가장 잘 맞는 설정을 찾도록 만들어졌기 때문에, 요청만 하면 그런 매끄러움을 기꺼이 내놓는다.

ICT에서 자주 나오는 과적합 함정

ICT와 Smart Money Concepts는 재량 요소가 풍부하다. 진입, 필터, 구조 해석을 이미 결과를 알고 있는 차트에 맞춰 구부리기 쉽다. 그래서 커브 피팅에 특히 취약하다.

1. 과거 셋업에 맞춰 진입 규칙을 지나치게 조정한다

수익 거래를 복기하면서 규칙을 거꾸로 뽑아낸다. "Fair Value Gap (FVG) 진입은 갭의 62.5%에서 71.3% 사이만 채워지고, 두 번째 캔들이며, 직전 스윙이 유동성을 sweep했을 때만 작동한다"는 식이다. 이 숫자들은 수익 거래에서 읽어낸 값이다. 가격 전달 과정을 설명하는 게 아니라 표본을 설명한다. 새로운 데이터에서는 유지되지 않는다.

2. 과거 승자만 통과할 때까지 중첩 조건을 쌓는다

필터를 추가하면 엄격해진 듯 보인다. 하지만 하나씩 붙을 때마다 이미 성공한 특정 거래 쪽으로 통로가 좁아진다. sweep, displacement, FVG, kill zone, 일일 방향성, SMT를 계속 겹쳐 과거 손실을 전부 걸러냈다면 정밀도를 찾은 게 아니다. 정답지를 외운 것이다.

진짜 중첩 조건은 과거를 깔끔하게 정리하는 데 그치지 않고 새로운 데이터에서 기대값을 개선해야 한다.

3. 하나의 시장과 기간에 지표나 스캐너를 맞춘다

BTCUSDT의 2023년 결과를 최대화하려고 지표의 조회 기간, ATR 배수, displacement 기준값을 조정하면 그 설정은 해당 코인, 해당 연도, 해당 변동성 국면에 맞춰진다. EURUSD나 박스권이 이어진 분기로 옮기는 순간 엣지는 사라진다. 매개변수가 한 시장의 잡음을 배운 결과이기 때문이다.

4. 리플레이에서 생기는 재량적 사후 편향

가장 조용한 함정이다. 봉 리플레이에서는 가격이 어디로 갔는지 이미 보인다. 그래서 작동한 Order Block이나 구조 이탈을 "찾아내고", 실거래에서도 그 거래를 잡았을 거라고 스스로 설득한다. 답을 펼쳐놓고 자기 숙제를 채점하는 셈이다.

결과를 이미 알고 있기 때문에 셋업이 명확해 보일 뿐이다. 이런 식으로 리플레이 봉 100개를 돌리면 이상적으로 기억한 차트에 맞는 규칙을 만들게 된다. 실시간 데이터에서는 아무것도 맞지 않는다.

전략이 커브 피팅됐다는 경고 신호

과적합에는 흔적이 남는다. 백테스트에서 다음 항목이 여러 개 보이면 반증되기 전까지 결과를 의심해야 한다.

거의 완벽한 자산 곡선. 실제 엣지는 울퉁불퉁하다. 낙폭, 연속 손실, 횡보 구간이 나온다. 45도에 가까운 매끄러운 직선은 대개 규칙이 데이터에 맞춰졌다는 뜻이다.
지나치게 작은 표본. 거래가 대략 100건보다 적거나 한 가지 시장 국면만 포함한 테스트는 증거가 아니다. 희망적인 이름을 붙인 잡음에 가깝다.
매개변수와 예외가 많다. 자유 변수와 특수 규칙을 직접 세어봐야 한다. 많을수록 곡선은 엣지보다 피팅 결과를 더 강하게 반영한다.
표본 밖 성과가 급격히 악화된다. 가장 확실한 신호다. 인샘플에서는 강했던 결과가 전략이 전혀 보지 못한 데이터에서 시험하는 순간 무너진다.

가장 신뢰할 만한 검사는 마지막 항목이다. 견고한 전략은 이미 본 데이터와 보지 않은 데이터에서 비슷하게 작동한다. 커브 피팅된 전략은 전자에서는 눈부시고 후자에서는 형편없다.

예제로 보는 인샘플과 아웃오브샘플

같은 종목에서 같은 아이디어를 두 가지 버전으로 시험한다고 하자. 아래 숫자는 패턴을 보여주기 위한 예시일 뿐, 특정 연구의 결과가 아니다.

전략	규칙 및 매개변수	인샘플 승률	아웃오브샘플 승률
과도하게 조정한 전략	매개변수 9개, 거래 제외 예외 5개, 단일 시장, 1년	약 80%	약 40%
단순하고 견고한 전략	매개변수 3개, 예외 없음, 여러 시장과 여러 연도	약 52%	약 52%

과도하게 조정한 버전은 백테스트에서 80% 대 52%로 훨씬 좋아 보인다. 그래서 훈련되지 않은 눈은 이 전략을 고른다. 하지만 비용을 고려하면 표본 밖 승률은 동전 던지기보다도 나쁘다. 견고한 버전은 화려하지 않지만 일관된다. 인샘플 52%, 아웃오브샘플 52%다.

거래할 수 있는 쪽은 하나뿐이다. 눈에 띄는 결과를 낸 전략이 아니다. 보지 않은 데이터에서도 유지되는 일관성이 높은 인샘플 고점보다 우선한다.

실전에서 얻을 교훈은 전략을 가장 좋은 수치가 아니라 정직한 최악의 수치로 평가하라는 것이다. 아웃오브샘플 승률이 인샘플보다 떨어지는 순간 과도하게 조정한 시스템을 폐기했다면 계좌 하나를 지켰을 것이다.

두 열 사이의 간격이 진짜 측정값이다. 첫 번째 열의 높이가 아니다. 그 차이가 내 "엣지" 중 얼마가 커브 피팅이고 얼마가 신호인지 보여준다.

트레이딩에서 커브 피팅을 피하는 법

과적합 위험을 완전히 없앨 수는 없다. 다만 훈련된 절차를 지키면 크게 줄일 수 있다. 다음 순서대로 진행한다.

매개변수와 규칙을 줄인다. 완벽함보다 견고함이 우선이다. 변수를 하나 뺄 때마다 시스템이 과거를 외울 수 있는 수단도 하나 줄어든다. 단순화했을 때 살아남지 못하는 규칙은 잡음일 가능성이 높다.
국면을 가로지르는 큰 표본으로 테스트한다. 상승장, 하락장, 박스권을 모두 포함하고 여러 연도와 여러 종목을 사용한다. 한 국면에서만 나타나는 엣지는 엣지가 아니라 그 국면에 대한 설명이다.
아웃오브샘플 데이터를 따로 떼고 전진 테스트한다. 과거를 나눠 한쪽에서 조정한 뒤 나머지 구간은 건드리지 않고 평가한다. 유지된다면 작은 규모로 실거래에 적용한다. 실제로 보지 못한 틱에서 나온 전진 성과만이 시장이 미리 흘려준 정보의 영향을 받지 않는 시험이다.
워크포워드 검증을 사용한다. 이동 구간에서 최적화하고, 이어지는 보지 않은 구간에서 테스트한다. 그 뒤 앞으로 굴려 같은 과정을 반복한다. 시간에 따른 재조정을 모의하며, 전체 이력을 한꺼번에 볼 때만 작동하는 전략을 드러낸다.
사후 편향을 넣을 수 없는 기계적 규칙을 선호한다. 진입이 객관적이고 코드화될수록 리플레이에서 자신을 속이기 어렵다. 올바른 구조를 "봐야" 하는 규칙은 편향에 노출된다.
실거래 성과가 백테스트보다 나쁠 것을 전제로 한다. 슬리피지, 스프레드, 체결 누락, 평균 회귀가 결과를 끌어내린다. 백테스트가 60%라면 실거래는 45~50%를 기준으로 계획한다. 백테스트 수치에서만 살아남는 전략은 실제로 살아남지 못한다.

편향과 분산을 쉽게 이해하기

두 가지 실패 사이에는 적정 지점이 있다. 너무 단순하면 전략이 실제 패턴을 포착할 만큼 유연하지 못해 엣지를 놓친다. 편향이 높은 상태다. 반대로 너무 복잡하면 잡음까지 포함한 모든 움직임에 맞춰 휘어진다. 분산이 높고, 곧 과적합된 상태다.

커브 피팅은 복잡한 쪽 끝에서 발생한다. 목표는 견고한 중간 지점이다. 실제 행동을 포착할 만큼의 구조는 갖추되, 무작위성을 외울 만큼 복잡하지 않아야 한다.

ICT 방어법: 오른쪽 경계를 고정한 봉 리플레이

재량적 사후 편향을 막는 가장 효과적인 방법은 테스트할 때 미래를 실제로 보이지 않게 만드는 것이다. 차트 도구의 봉 리플레이에서 의사결정 캔들 오른쪽을 전부 가린다. 다음 봉을 공개하기 전에 방향, 진입, 손절, 목표를 정하고 거래를 확정한다. 기록한 뒤 한 봉씩 진행한다.

결과를 볼 수 없으므로 "작동한" Order Block만 골라낼 수도 없고, 이미 알고 있는 결과에 맞춰 구조를 다시 그릴 수도 없다. 리플레이는 자기만족용 연습이 아니라 정직한 표본이 된다. 이것이 ICT 전략을 제대로 테스트하는 핵심이다.

여기에 규칙 기반 자동 스캐너를 함께 사용하면 편향을 한 겹 더 걷어낼 수 있다. LiquidityScan 같은 도구는 보고 싶은 것을 찾는 대신 고정된 기준으로 셋업을 탐지하기 때문이다.

과적합을 부르는 흔한 실수

백테스트에 직접 맞춰 최적화한다. 수익률이 가장 높은 매개변수 조합을 실거래 전략으로 삼는 것은 운을 고르는 행위다. 인샘플 최고 결과는 대개 가장 심하게 과적합된 결과다.
아웃오브샘플 테스트를 건너뛴다. 과거의 모든 거래가 규칙을 만드는 데 반영됐다면 전략이 작동한다는 독립적인 증거는 없다. 과거를 설명할 수 있다는 사실만 남는다.
완벽한 자산 곡선을 믿는다. 흠 없는 과거 곡선은 위험 신호다. 실제 엣지는 울퉁불퉁하다. 매끄러움은 전략이 잡음에 맞춰졌다는 흔적이다.

자주 묻는 질문

커브 피팅과 최적화의 차이는 무엇인가?

최적화는 합리적인 매개변수를 고르는 과정이다. 커브 피팅은 최적화가 지나쳐 표본의 잡음까지 설정에 맞춘 상태다. 실전적인 기준은 아웃오브샘플 성과다. 건전한 최적화는 보지 않은 데이터에서도 유지되지만, 커브 피팅은 무너진다. 조정하는 매개변수가 많아질수록 둘 사이의 경계는 얇아진다.

과적합을 피하려면 데이터가 얼마나 필요한가?

정해진 숫자는 없다. 다만 여러 시장 국면을 포함할 만큼 큰 표본을 목표로 해야 한다. 보통 상승장, 하락장, 박스권을 거친 여러 해의 거래 수백 건과 2개 이상의 종목이 필요하다. 한 국면이나 짧은 기간에서만 작동하는 규칙은 그 기간의 잡음에 맞춰졌을 가능성이 매우 높다.

재량적인 ICT 트레이딩도 과적합될 수 있는가?

그렇다. 오히려 찾아내기 더 어렵다. 재량 트레이더는 리플레이에서 결과를 이미 알고 있기 때문에 작동한 구조나 Order Block을 표시하며 과적합한다. 과거 승자만 통과할 때까지 중첩 조건을 쌓는 방식도 마찬가지다. 오른쪽 경계를 고정한 리플레이와 기계적인 진입 기준이 주된 방어 수단이다.

백테스트에서는 작동하는데 실거래에서 실패하는 이유는 무엇인가?

가장 흔한 원인은 커브 피팅이다. 규칙이 과거 데이터에 맞춰져 새로운 데이터에 일반화되지 못한다. 그다음 원인은 슬리피지, 스프레드, 체결 누락 같은 현실적인 마찰과 평균 회귀다. 실거래 성과가 백테스트보다 낮을 것을 전제로 하고, 규모를 키우기 전에 아웃오브샘플과 전진 데이터를 통해 검증해야 한다.

과적합은 테스트의 문제다. 그래서 다음 단계는 정직하게 테스트하고, 결과를 읽고, 오래 유지될 엣지를 만드는 데 맞춰야 한다. 아래 순서로 이어서 확인한다.

ICT 전략을 올바르게 백테스트하는 법 - 이 글의 경고를 실제로 적용하는 편향 저항형 테스트 절차를 다룬다.
수익을 내는 트레이더의 자산 곡선은 어떤 모습인가 - 의심스러울 만큼 완벽한 곡선보다 현실적인 울퉁불퉁한 곡선이 나은 이유를 설명한다.
Order Block은 아직도 작동하는가? 2026년 데이터 기반 평가 프레임워크 - 하나의 피팅 결과가 아니라 증거를 바탕으로 개념의 엣지를 평가하는 방법을 다룬다.
프로 트레이더가 엣지를 만드는 ICT 거래일지 양식 - 실거래와 백테스트 성과를 비교해 과적합을 조기에 포착하는 방법을 설명한다.
ICT 전략을 무효화하는 리스크 관리 실수 5가지 - 취약한 커브 피팅 시스템의 손실을 계좌 차원에서 키우는 실수를 다룬다.
ICT 트레이딩에서 나만의 엣지를 찾는 법: 전문화 프레임워크 - 데이터에 맞춘 엣지가 아니라 견고하고 반복 가능한 엣지를 만드는 방법을 설명한다.
트레이딩 FOMO: 진입을 추격하는 이유와 이기는 법 - FOMO 거래를 다른 각도에서 다룬다.
수익 내는 트레이더의 자산 곡선은 어떤 모습일까 — 과적합을 피한 뒤, 실제 수익 곡선의 기대값과 드로우다운을 이해합니다.