ppo с памятью довольно быстро научился ходить в нужную сторону dqn с памятью вообще не смог за x10 шагов