使用指南¶
QlibRL 可以帮助用户快速入门并便捷地实现基于强化学习(RL)算法的量化策略。针对不同用户群体，我们推荐以下使用指引来运用 QlibRL。
强化学习算法初学者¶
- 无论您是希望了解RL在交易中能做什么的量化研究者，还是想在交易场景中入门RL算法的学习者，如果您对RL知识有限，并希望屏蔽各种细节设置来快速上手RL算法，我们推荐按以下顺序学习qlibrl：
在`part1 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#reinforcement-learning>`_中学习RL基础知识
在`part2 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可应用的交易场景
运行`part3 <https://qlib.readthedocs.io/en/latest/component/rl/quickstart.html>`_中的示例来使用RL解决交易问题
若想进一步探索QlibRL并进行定制化，需要先在`part4 <https://qlib.readthedocs.io/en/latest/component/rl/framework.html>`_中理解QlibRL框架，再根据需求改写具体组件
强化学习算法研究者¶
- 如果您已熟悉现有RL算法并致力于RL算法研究，但缺乏金融领域知识，且希望验证算法在金融交易场景中的有效性，我们推荐按以下步骤开始使用QlibRL：
在`part2 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可应用的交易场景
选择RL应用场景（目前QlibRL已实现两个场景示例：订单执行和算法交易），运行`part3 <https://qlib.readthedocs.io/en/latest/component/rl/quickstart.html>`_中的示例使其工作
修改`policy <https://github.com/microsoft/qlib/blob/main/qlib/rl/order_execution/policy.py>`_部分以融入您自己的RL算法
量化研究者¶
- 如果您具备一定金融领域知识和编码能力，希望探索RL算法在投资领域的应用，我们推荐按以下步骤探索QlibRL：
在`part1 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#reinforcement-learning>`_中学习RL基础知识
在`part2 <https://qlib.readthedocs.io/en/latest/component/rl/overall.html#potential-application-scenarios-in-quantitative-trading>`_中了解RL方法可应用的交易场景
运行`part3 <https://qlib.readthedocs.io/en/latest/component/rl/quickstart.html>`_中的示例来使用RL解决交易问题
在`part4 <https://qlib.readthedocs.io/en/latest/component/rl/framework.html>`_中理解QlibRL框架
根据待解决问题的特点选择合适的RL算法（目前QlibRL支持基于tianshou的PPO和DQN算法）
基于市场交易规则和待解决问题设计MDP（马尔可夫决策过程）流程。参考订单执行示例，对以下模块进行相应修改：State、Metrics、ActionInterpreter、StateInterpreter、Reward、Observation、Simulator。