안녕하세요, 모두의 연구소 블록체인 연구실입니다.
10월 27일 4회차 스터디에서 김호엽님이 발표하신 RL for Coin Portfolio Management 자료를 공유합니다. 이색적으로 딥러닝에 대한 내용을 다루어 주셨습니다. :)
Introduction
- 기존의 Machine Learning을 트레이딩에 접목하려는 시도는 대체로 가격이나 트렌드를 예측하는 방향으로만 연구됨
- price-prediction-based algorithms 은 예측의 정확도에 크게 좌우되며 무엇보다 미래의 시장 가격은 예측 자체가 어려운 것이 현실
- 기존의 강화학습을 Trading에 적용한 연구들도 하나의 single asset에 대해 discrete action 을 주는 것이 한계
Continuous action space on trading
- The Actor-critic Deterministic Policy Gradient Algorithms (by Silver, 2014)
- 최근 연구로 General purpose continuous deep RL framework가 개발되었으며, 논문의 목적은 단일 주식이 아닌 포트폴리오의 비중을, 실버교수님의 연구 결과인 Continuous action space로 설정해 학습하는 것
Things to skip
- Deterministic Policy Gradient
- Stochastic Online Batch Learning
- Calculating portfolio return, transaction cost, portfolio weights
Assumption
- Zero slippage
- No Market impact
Define Environment
- Environment : Bitcoin and others
Bitcoin : 블록체인 기술을 이용한 암호화된 가상 화폐의 대표주자
Top volume 11 개의 AltCoin을 사용했다고 하나 논문상 어떤 코인인지 밝히지 않음
Bitcoin 및 Altcoin data 는 Poloniex exchange 에서! - Time Horizon : T = 30 minutes, stacks 50 historical data (look back 25 hours)
- Input Features : High, Low, Close price data for each coin
30분 마다 관찰하므로 t-1 시점 close price == t 시점 open price 이므로 open 생략
...
Figure가 굉장히 많은 관계로... 이하 자세한 내용은 아래 링크에서 확인해 주시길 ^^
https://drive.google.com/open?id=11XBq0T0EWYYlvcHy4ZGn8aElX_etcIV5oZgZIeOffAM
감사합니다.
Cheer Up! 음~? 흥미로운 포스팅이군요.