Time step & frame stack & action 지속 time 의 정답은 뭘까요?

[limyeeun1]

관계를 파헤쳐볼 필요가 있을 것 같습니다.

[right-chan]

가능한 경우는 다음과 같습니다.

$\{x_0, x_1, x_2, x_3, x_4, x_5, x_6, x_7, x_8, x_9, x_{10}, x_{11}, x_{12}, x_{13}, x_{14}, x_{15}, ...\}$ 의 이미지로

1. frame_skip=6, 이후 frame_stack=4일 때,
   $s_1=(x_0, x_6, x_{12}, x_{18}), s_2=(x_{24}, x_{30}, x_{36}, x_{42})$
2. frame_stack=4, 이후 frame_skip=6일 때,
   $s_1=(x_0,x_1,x_2,x_3), s_2=(x_6,x_7,x_8,x_9)$

여기보면 frame skip이후 frame stack을 진행하고 있습니다.

추가사항

• https://danieltakeshi.github.io/2016/11/25/frame-skipping-and-preprocessing-for-deep-q-networks-on-atari-2600-games/

[right-chan]

를 보면 if self.counter % self.skip == 0: 일 때, buffer.append(obs)를 수행합니다. 여기서 self.skip = 6으로 할당되어 있는 것으로 보아, 1번의 경우가 맞지 않을까 생각합니다.

[HyeAnn-Lee]

희찬님이 말씀하신 두 링크를 보기 전에는 개인적으로 이렇게 생각했었는데요,

일단 이 생각이 틀렸다는 것은 알겠습니다.

그런데 올려주신 두 링크가 주장하는 바가 좀 다른 것 같은데, 저는 두 번째 link인 Daniel이 좀 더 믿음이 가네요..
overlapping이 더 끌립니다.

Daniel의 글을 보고 나니 저희 같은 "stack 4, action반복 6" 의 경우
$s_1 = (x_5, x_{11}, x_{17}, x_{23}), s_2 = (x_{11}, x_{17}, x_{23}, x_{29}), s_3 = (x_{17}, x_{23}, x_{29}, x_{35}), \dots$
가 맞을 것 같다고 생각합니다.
training때만 action을 반복하고 infer때는 반복을 안 한다고 한 것 같으니 infer때는
$s_1 = (x_0, x_1, x_2, x_3), s_2 = (x_1, x_2, x_3, x_4), s_3 = (x_2, x_3, x_4, x_5), \dots$
가 되려나요?

말씀하신대로 env = frameskip(env, 6); env = framestack(env, 4) 순서로 하면 Daniel처럼 overlapping될 것 같은데요!!

[HyeAnn-Lee]

논의 결과: Daniel이 맞는듯요~