======== 使用指南 ======== .. currentmodule:: qlib QlibRL 可以帮助用户快速入门并便捷地实现基于强化学习(RL)算法的量化策略。针对不同用户群体，我们推荐以下使用指引来运用 QlibRL。 强化学习算法初学者 ============================================== 无论您是希望了解RL在交易中能做什么的量化研究者，还是想在交易场景中入门RL算法的学习者，如果您对RL知识有限，并希望屏蔽各种细节设置来快速上手RL算法，我们推荐按以下顺序学习qlibrl： - 在`part1 `_中学习RL基础知识 - 在`part2 `_中了解RL方法可应用的交易场景 - 运行`part3 `_中的示例来使用RL解决交易问题 - 若想进一步探索QlibRL并进行定制化，需要先在`part4 `_中理解QlibRL框架，再根据需求改写具体组件 强化学习算法研究者 ============================================== 如果您已熟悉现有RL算法并致力于RL算法研究，但缺乏金融领域知识，且希望验证算法在金融交易场景中的有效性，我们推荐按以下步骤开始使用QlibRL： - 在`part2 `_中了解RL方法可应用的交易场景 - 选择RL应用场景（目前QlibRL已实现两个场景示例：订单执行和算法交易），运行`part3 `_中的示例使其工作 - 修改`policy `_部分以融入您自己的RL算法 量化研究者 ======================= 如果您具备一定金融领域知识和编码能力，希望探索RL算法在投资领域的应用，我们推荐按以下步骤探索QlibRL： - 在`part1 `_中学习RL基础知识 - 在`part2 `_中了解RL方法可应用的交易场景 - 运行`part3 `_中的示例来使用RL解决交易问题 - 在`part4 `_中理解QlibRL框架 - 根据待解决问题的特点选择合适的RL算法（目前QlibRL支持基于tianshou的PPO和DQN算法） - 基于市场交易规则和待解决问题设计MDP（马尔可夫决策过程）流程。参考订单执行示例，对以下模块进行相应修改：`State `_、`Metrics `_、`ActionInterpreter `_、`StateInterpreter `_、`Reward `_、`Observation `_、`Simulator `_。