로보어드바이저 알고리즘의 한계와 극복 방안: 데이터, 모델, 사람 사이에서 길 찾기

1. 일단 로보어드바이저가 뭘 하는 녀석인지부터

로보어드바이저(Robo-Advisor)는 로봇(Robot)과 투자자문가(Advisor)의 합성어야. 투자자가 설문에 답하면, 알고리즘이 그 사람의 위험 성향을 분류하고, 정해진 자산배분 모델에 따라 포트폴리오를 짜고, 시간이 지나 비중이 틀어지면 다시 맞춰주는(리밸런싱) 서비스를 말해.

역사를 짧게 보면, 미국에서 Betterment와 Wealthfront 같은 회사가 2008년 글로벌 금융위기 즈음 출발해 2010년대에 본격적으로 대중화됐어. 금융위기 이후 “비싼 수수료 내고 사람한테 맡겼는데 결과가 이게 뭐야?” 하는 불신이 커졌고, 저비용 ETF 시장이 커지면서 낮은 수수료 + 자동 분산투자라는 조합이 딱 맞아떨어졌지. 이후 Vanguard, Charles Schwab 같은 대형 운용사·증권사도 자체 서비스를 내놓으면서 시장이 커졌어.

한국에서는 2016년 금융위원회와 코스콤이 로보어드바이저 테스트베드를 시작하면서 제도권 진입이 본격화됐어. 테스트베드는 알고리즘이 실제 자금으로 일정 기간 운용되는 동안 투자자 성향 분석의 적정성, 분산투자, 해킹 방지 체계 같은 요건을 제대로 갖추고 있는지 검증하는 절차야. 이걸 통과해야 투자자문·일임 서비스로 고객을 직접 받을 수 있지. 요즘엔 증권사 앱, 은행 앱, 연금 계좌 등에서 로보어드바이저 메뉴를 흔하게 볼 수 있어.

여기서 핵심은 각 단계마다 ‘가정’이 들어간다는 거야. 설문이 성향을 정확히 잡아낸다는 가정, 과거 수익률과 변동성이 미래에도 비슷하다는 가정, 자산 간 상관관계가 안정적이라는 가정, 리밸런싱 비용이 충분히 작다는 가정… 이 가정들이 하나씩 깨질 때 바로 ‘알고리즘의 한계’가 드러나. 그럼 이제 하나씩 까보자.

2. 한계 하나: 출발점인 ‘위험 성향 설문’이 생각보다 허술해

로보어드바이저의 모든 결과는 처음 설문에서 출발해. 그런데 설문 방식에는 구조적인 약점이 있어.

미국 증권거래위원회(SEC)와 금융산업규제기구(FINRA)도 로보어드바이저 관련 가이던스와 보고서에서 설문의 질과 고객 정보 수집의 충분성을 핵심 점검 포인트로 꼽아왔어. 질문이 모호하거나, 서로 모순되는 답변이 나와도 알고리즘이 그걸 걸러내지 못하면 적합성(suitability) 문제가 생긴다는 거지.

예를 들어 어떤 사람이 “투자 기간 1년 이내”라고 답하면서 동시에 “원금 손실 30%까지 감수 가능”이라고 답했다고 해 봐. 사람 상담사라면 “잠깐, 1년 뒤에 쓸 돈인데 30% 빠져도 괜찮아요?” 하고 되물을 텐데, 단순 점수 합산형 알고리즘은 그냥 평균 내서 ‘중립형’으로 분류해버릴 수 있어. 모순을 평균으로 덮는 것, 이게 설문 기반 프로파일링의 대표적인 맹점이야.

3. 한계 둘: “입력값이 조금만 흔들려도 결과가 확 바뀐다” 추정 오차의 공포

많은 로보어드바이저의 이론적 뼈대는 해리 마코위츠(Harry Markowitz)가 1952년에 발표한 평균-분산 최적화(Mean-Variance Optimization, MVO)야. 기대수익률, 변동성, 자산 간 상관관계를 넣으면 “같은 위험에서 수익을 최대로” 또는 “같은 수익에서 위험을 최소로” 하는 비중을 계산해주지. 이 공로로 마코위츠는 1990년 노벨경제학상을 받았어. 이론은 정말 아름다워.

문제는 입력값을 우리가 정확히 모른다는 거야. 기대수익률은 미래 값인데, 보통 과거 데이터로 추정해. 그런데 기대수익률 추정치는 오차가 엄청 커. 리처드 미쇼(Richard Michaud)는 1989년 논문에서 평균-분산 최적화기를 ‘추정 오차 극대화기(error maximizer)’라고 표현했어. 최적화기가 우연히 기대수익률이 과대추정된 자산에 비중을 몰아주고, 과소추정된 자산은 버리는 경향이 있다는 거지.

위 그림은 원리를 보여주기 위한 개념 예시야. 실제 숫자는 변동성, 상관계수, 제약조건에 따라 달라지지만 방향성은 같아. 서로 비슷하게 움직이는(상관관계가 높은) 자산일수록 기대수익률 차이가 아주 조금만 나도 최적화기가 한쪽으로 확 쏠려. 통계적으로는 노이즈 수준의 차이인데 말이야.

이 현상을 실증적으로 보여준 유명한 연구가 있어. DeMiguel, Garlappi, Uppal이 2009년 Review of Financial Studies에 발표한 논문인데, 여러 최적화 기법을 그냥 모든 자산에 똑같이 나누는 1/N 전략과 비교했더니, 표본 외(out-of-sample) 성과에서 정교한 모델들이 1/N을 일관되게 이기지 못했어. 추정 오차 때문에 최적화의 이점이 상쇄된다는 거지. 이 결과가 “최적화는 쓸모없다”는 뜻은 아니지만, 입력값을 날것 그대로 넣는 순진한 최적화는 위험하다는 강력한 경고였어.

4. 한계 셋: 시장의 ‘성격’이 바뀌면 과거 데이터는 배신한다

금융 데이터의 가장 큰 특징 중 하나는 비정상성(non-stationarity)이야. 쉽게 말해 시장의 통계적 성질이 시간에 따라 변한다는 거지. 금리 하락기와 금리 상승기, 저물가 시기와 고물가 시기, 유동성 풍부한 시기와 긴축 시기는 서로 완전히 다른 게임이야.

대표적인 예가 주식과 채권의 상관관계야. 2000년대 이후 꽤 오랫동안 미국 주식과 국채는 대체로 반대로 움직이는(음의 상관관계) 경향이 있었어. 주식이 빠질 때 채권이 받쳐줘서 ‘주식 60 : 채권 40’ 같은 전통적 포트폴리오가 잘 굴러갔지. 많은 로보어드바이저도 이 구조를 기반으로 설계됐어.

그런데 2022년엔 어떻게 됐을까? 인플레이션이 치솟고 미국 연준이 빠르게 금리를 올리면서 주식과 채권이 동시에 크게 하락했어. 미국 종합채권지수도 두 자릿수 하락을 기록했을 만큼 채권 쪽 충격이 컸지. “채권이 방패”라는 가정이 깨지면서 분산투자 효과가 기대만큼 작동하지 않은 해였어. 과거 20년치 데이터로 상관관계를 추정한 모델은 이 상황을 사실상 예상하지 못한 셈이야.

위기 때 상관관계가 올라가는 현상은 학계에서도 오래 연구된 주제야. “분산투자가 정작 필요할 때 사라진다”는 말이 괜히 나온 게 아니지. 평상시 데이터로 추정한 상관행렬은 위기 시의 꼬리 위험(tail risk)을 과소평가하기 쉬워.

또 하나, 많은 모델이 수익률이 정규분포를 따른다고 가정하거나 그에 가까운 위험 지표(표준편차)를 써. 하지만 실제 주식 수익률은 꼬리가 두꺼운 팻테일(fat tail) 분포를 보인다는 게 잘 알려져 있어. 정규분포 기준으로는 ‘몇백 년에 한 번’ 일어날 법한 급락이 실제로는 생각보다 자주 오는 거야. 표준편차만 보고 위험을 측정하면 진짜 아픈 시나리오를 놓칠 수 있지.

5. 한계 넷: 백테스트는 늘 아름답다, 과최적화의 유혹

요즘 로보어드바이저 중에는 단순 자산배분을 넘어서 머신러닝·딥러닝으로 시장 국면을 예측하거나 종목을 고르는 서비스도 많아. 여기서 등장하는 대표 한계가 과최적화(overfitting)야. 모델이 과거 데이터의 ‘패턴’이 아니라 ‘우연한 노이즈’까지 외워버리는 현상이지.

금융 데이터는 머신러닝 입장에서 특히 까다로워.

퀀트 연구자 마르코스 로페즈 데 프라도(Marcos López de Prado)는 저서 Advances in Financial Machine Learning(2018)에서 금융 머신러닝 프로젝트가 실패하는 주요 원인으로 백테스트 과최적화를 강하게 지적했어. 데이비드 베일리(David Bailey)와 함께 개발한 디플레이티드 샤프 비율(Deflated Sharpe Ratio)이나 백테스트 과최적화 확률(PBO) 같은 개념도, 결국 “테스트를 많이 할수록 좋은 결과가 우연히 나올 확률도 높아진다”는 점을 보정하려는 시도야.

그리고 학습 기간과 검증 기간이 겹치거나, 시계열 데이터를 무작위로 섞어서 교차검증하면 미래 정보가 과거로 새어 들어가. 이미지 분류에서는 흔한 랜덤 교차검증이 금융에서는 함정이 되는 이유야.

6. 한계 다섯: 블랙박스, “왜 이렇게 샀는지” 설명을 못 해

규칙 기반 자산배분형 로보는 그나마 논리가 명확해. “당신은 중립형이라 주식 50, 채권 40, 금 10이에요.” 이런 식이지. 그런데 딥러닝 기반으로 갈수록 설명 가능성이 확 떨어져. 수많은 변수와 가중치가 얽혀 결론을 내기 때문에 “이 종목 비중을 왜 늘렸나요?”라는 질문에 사람이 이해할 수 있는 답을 주기가 어려워.

이게 왜 중요하냐면,

7. 한계 여섯: 이해상충과 공시, 알고리즘도 ‘누가 설계했는지’가 중요해

알고리즘은 중립적이라고 생각하기 쉽지만, 설계자는 사람이고 회사는 수익을 내야 해. 그래서 이해상충 문제가 알고리즘 안에 녹아들 수 있어.

유명한 사례가 있어. 2022년 6월 미국 SEC는 찰스 슈왑(Charles Schwab)의 자회사들이 로보어드바이저 서비스 ‘Schwab Intelligent Portfolios’에서 현금 배분과 관련한 내용을 투자자에게 적절히 공시하지 않았다며 제재했고, 슈왑은 총 1억 8,700만 달러를 지불하는 데 합의했어. SEC의 설명에 따르면, 회사는 현금 비중이 최적의 결정 과정에 따른 것처럼 안내했지만 실제로는 고객 현금을 계열 은행에 예치해 수익을 얻는 구조였고, 시장 상황에 따라서는 그 현금 비중 때문에 고객 수익이 줄어들 수 있었다는 거야.

8. 한계 일곱: 다 같은 로봇이 다 같이 움직이면? 쏠림과 동조화

여러 로보어드바이저가 비슷한 데이터, 비슷한 이론, 비슷한 리밸런싱 규칙을 쓴다면 어떻게 될까? 시장이 급락할 때 많은 알고리즘이 비슷한 시점에 비슷한 방향으로 매매할 수 있어. 이건 개별 서비스 차원이 아니라 시장 전체의 위험이 될 수 있지.

국제결제은행(BIS)이나 금융안정위원회(FSB) 같은 국제기구들도 금융권 AI·머신러닝 확산에 관한 보고서에서 모델 동질화로 인한 쏠림(herding)과 시스템 리스크 가능성을 꾸준히 지적해왔어. 다만 현재 로보어드바이저의 운용 규모가 전체 시장 대비 압도적으로 크다고 보긴 어렵고, 대부분 장기 자산배분형이라 초단타 알고리즘과는 성격이 달라. 그래서 “당장 시장을 흔든다”기보다는 규모가 커질수록 주의해야 할 구조적 위험으로 보는 게 정확해.

9. 한계 여덟: 비용·세금·시장 미시구조, 현실의 마찰

모델 위에서는 리밸런싱이 공짜야. 하지만 현실에서는 거래 수수료, 매수·매도 호가 차이(스프레드), ETF의 괴리율, 환전 비용, 세금이 모두 발생해. 특히 소액 계좌가 많은 로보어드바이저는 최소 거래 단위 문제도 있어. 주가가 비싼 ETF는 1주 단위로만 살 수 있으면 목표 비중을 정확히 맞추기 어렵거든. 그래서 소수점 거래를 지원하거나, 비중 오차를 허용 범위 안에서 관리하는 방식을 쓰지.

세금 쪽은 국가마다 완전히 달라. 미국 로보어드바이저들이 자랑하는 세금 손실 수확(Tax-Loss Harvesting)은 손실 난 자산을 팔아 세금상 손실을 확정하고, 비슷한 다른 자산으로 갈아타 시장 노출을 유지하는 기법이야. 그런데 미국에는 손실 매도 전후 30일 안에 ‘실질적으로 동일한’ 증권을 사면 손실을 인정하지 않는 워시세일(wash sale) 규칙이 있어서 알고리즘이 이걸 피해가도록 설계돼야 해. 한국은 과세 체계가 다르기 때문에 미국식 기능을 그대로 가져와서는 효과가 같지 않아. 해외 서비스의 마케팅 문구를 국내 상황에 그대로 대입하면 안 되는 이유야.

10. 한계 아홉: 결국 가장 큰 변수는 ‘사람의 마음’

로보어드바이저가 만든 포트폴리오가 아무리 합리적이어도 투자자가 버티지 못하면 의미가 없어. 많은 사람이 로보를 쓰는 이유가 ‘감정 배제’인데, 정작 해지 버튼은 사람이 누르잖아?

Morningstar가 매년 발표하는 ‘Mind the Gap’ 연구는 펀드의 공시 수익률과 실제 투자자가 얻은 금액가중 수익률 사이의 차이를 분석하는데, 투자자들이 매매 타이밍 때문에 펀드 자체 수익률보다 낮은 성과를 얻는 경향이 반복적으로 나타났어. 쉽게 말해 오를 때 사고 빠질 때 팔면서 수익을 깎아먹는 거지. 이건 로보어드바이저 이용자에게도 똑같이 적용될 수 있는 이야기야.

11. 이제 극복 방안! 첫 번째 무기: 추정 오차를 다루는 견고한 기법들

한계만 늘어놓으면 우울하잖아? 다행히 업계와 학계는 이 문제들을 수십 년 동안 붙잡고 씨름해왔어. 먼저 추정 오차를 다루는 방법부터 보자.

그리고 아주 실용적인 방법으로 제약조건이 있어. “한 자산은 최대 30%”, “주식 비중은 성향별 범위 안”처럼 상한·하한을 걸어두면 최적화기가 폭주하지 못해. 이론적으로는 우아하지 않아 보여도 현실에서 꽤 강력한 안전장치야.

간단한 파이썬 예시로 감 잡아볼까? scikit-learn에 레도-울프 축소 추정기가 들어 있어.

import numpy as np
from sklearn.covariance import LedoitWolf

# returns: (관측 수, 자산 수) 형태의 수익률 데이터
returns = np.random.default_rng(42).normal(0.0004, 0.01, size=(250, 8))

sample_cov = np.cov(returns, rowvar=False)   # 표본 공분산
lw = LedoitWolf().fit(returns)
shrunk_cov = lw.covariance_                   # 축소된 공분산

print("축소 강도:", round(lw.shrinkage_, 3))
# 최소분산 포트폴리오 비중 비교
def min_var_weights(cov):
    inv = np.linalg.inv(cov)
    ones = np.ones(cov.shape[0])
    w = inv @ ones
    return w / w.sum()

print("표본 기반:", np.round(min_var_weights(sample_cov), 3))
print("축소 기반:", np.round(min_var_weights(shrunk_cov), 3))

이 코드는 원리를 보여주는 학습용 예시야. 실제 운용에서는 공매도 금지 제약, 거래비용, 자산별 상한 등이 함께 들어가. 핵심은 “표본 그대로 믿지 말고 한 번 다듬어서 쓰자”는 철학이야.

12. 두 번째 무기: 국면 변화에 대응하는 설계

시장의 성격이 바뀐다는 한계를 극복하려면 ‘하나의 고정된 세계관’을 버리는 것이 출발점이야.

13. 세 번째 무기: 스트레스 테스트와 꼬리 위험 관리

표준편차 하나로 위험을 말하는 시대는 지났어. 요즘 성숙한 로보어드바이저와 운용사는 다양한 위험 지표와 시나리오 분석을 함께 써.

특히 최대낙폭을 투자자에게 미리 보여주는 것은 기술적 대응이자 심리적 대응이야. “이 포트폴리오는 과거 위기 때 고점 대비 이 정도까지 빠진 적이 있어요”라고 미리 알려주면, 실제로 그런 일이 생겼을 때 당황해서 해지할 가능성이 줄어들어.

14. 네 번째 무기: 과최적화를 막는 검증 문화

백테스트가 아름다운 건 막을 수 없지만, 얼마나 믿을지는 통제할 수 있어. 좋은 운용 조직은 아래 같은 검증 절차를 갖추고 있어.

그리고 무엇보다 경제적 논리가 있는 신호인가를 따지는 게 중요해. “왜 이 신호가 수익을 낼까?”에 대해 위험 보상, 행동 편향, 시장 구조 같은 설명이 가능하면 우연일 가능성이 줄어들어. 설명이 “그냥 데이터가 그랬어요”뿐이라면 의심해볼 만해.

15. 다섯 번째 무기: 설명 가능한 AI와 투명한 공시

블랙박스 문제에 대해서는 설명 가능한 AI(XAI) 기법이 많이 연구되고 있어. 대표적으로 SHAP(게임이론의 섀플리 값을 응용해 각 변수가 예측에 얼마나 기여했는지 계산)이나 LIME(특정 예측 주변을 단순한 모델로 근사해 설명) 같은 방법이 있지. 예를 들어 “이번 달 주식 비중 축소의 주된 요인은 변동성 지표 상승과 금리 스프레드 변화였습니다” 같은 설명을 만들 수 있어.

물론 XAI도 만능은 아니야. 설명 자체가 근사치라서 모델의 실제 작동을 완벽히 보여주진 못해. 그래서 실무에서는 아예 해석 가능한 단순 모델을 우선 쓰고, 복잡한 모델은 보조적으로만 쓰는 접근도 많아. 정확도 조금 높이자고 설명 가능성을 다 버리면, 위기 때 고객도 운용자도 길을 잃거든.

위 체크 포인트는 줄바꿈으로 정리했지만, 핵심은 하나야. “이 로봇이 누구를 위해 무엇을 계산하는가?”를 투자자가 알 수 있어야 해.

16. 여섯 번째 무기: 사람과 로봇의 하이브리드

로보어드바이저 업계의 흐름 중 하나는 하이브리드 모델이야. 기본 운용은 알고리즘이 하고, 사람 전문가가 상담과 감독을 맡는 구조지. 미국의 Vanguard Personal Advisor 서비스처럼 디지털 플랫폼에 사람 상담을 결합한 사례가 대표적이야.

운용 측면에서도 ‘휴먼 인 더 루프(Human-in-the-Loop)’가 중요해. 모델이 비정상적인 비중 변화를 제안하거나, 시장에서 서킷브레이커 같은 극단적 이벤트가 생기면 사람이 검토·승인하도록 설계하는 거야. 완전 자동화보다 느릴 수는 있지만 한 번의 대형 사고를 막는 가치가 훨씬 커.

재미있는 건, 이런 하이브리드 흐름이 금융에만 있는 게 아니라는 거야. 재능넷 같은 재능 공유 플랫폼에서도 AI 도구로 초안을 만들고 사람 전문가가 다듬어주는 협업 방식이 점점 늘고 있잖아. 투자도 결국 비슷해. AI는 엔진, 사람은 핸들이라고 생각하면 이해가 쉬워.

17. 일곱 번째 무기: 투자자 행동을 설계하는 ‘넛지’

앞에서 가장 큰 변수가 사람의 마음이라고 했지? 그래서 똑똑한 서비스들은 알고리즘만큼이나 사용자 경험(UX)에 공을 들여. 행동경제학의 넛지(nudge) 개념을 활용하는 거야.

다만 넛지에도 윤리가 필요해. 투자자를 붙잡아두는 것이 회사의 수수료 수익 때문이라면 그건 넛지가 아니라 ‘다크 패턴’이 될 수 있어. 목적이 투자자의 장기 이익이어야 해.

18. 여덟 번째 무기: 거버넌스와 규제, 시스템 차원의 안전망

개별 기법만으로는 부족해. 조직과 제도 차원의 안전망이 있어야 알고리즘의 한계가 사고로 번지지 않아.

한국에서는 퇴직연금 시장이 로보어드바이저의 중요한 무대로 떠오르고 있어. 2023년 7월부터 퇴직연금 사전지정운용제도(디폴트옵션)가 본격 시행되면서, 가입자가 직접 운용 지시를 하지 않아도 미리 정한 방식으로 적립금이 운용되는 구조가 생겼지. 연금처럼 수십 년을 굴리는 돈일수록 알고리즘의 견고성, 투명성, 장기 관점의 설계가 더 중요해져. 단기 수익률 경쟁보다 오래 버틸 수 있는 구조가 핵심이야.

19. 생성형 AI 시대의 로보어드바이저, 새로운 가능성과 새로운 함정

요즘은 대규모 언어 모델(LLM)을 금융 서비스에 접목하려는 시도가 활발해. 뉴스·공시 같은 텍스트 데이터를 분석하거나, 고객 질문에 자연어로 답하는 상담 기능 같은 거지. 설문 몇 문항 대신 대화로 투자자의 상황을 더 깊이 이해할 수 있다면 프로파일링 한계를 보완할 가능성도 있어.

하지만 새로운 위험도 따라와.

그래서 현실적인 방향은 LLM이 운용 결정을 직접 내리기보다 설명, 상담 보조, 정보 요약 역할을 하고, 실제 자산배분은 검증된 정량 모델과 규칙이 맡는 구조야. 그리고 답변의 근거를 확인할 수 있게 출처를 연결하는 방식이 함께 연구되고 있어.

20. 투자자 입장에서 써먹는 로보어드바이저 점검 가이드

자, 여기까지 따라왔으면 이제 너는 웬만한 광고 문구에 휘둘리지 않을 내공이 생겼어. 마지막으로 실제로 서비스를 고를 때 물어볼 질문들을 정리해볼게.

21. 한 장으로 정리하는 한계와 해법 지도