To klasyczny imiesłów przysłówkowy uprzedni, jego funkcja i zastosowanie są analogiczne do tych w j. polskim - "odrobiwszy pracę domową" - a więc po tym jak zrobiłem to uprzednio - "wyszedłem na spacer". Masz rację - pokazuje to, że czynność wyrażona imiesłowem jest pierwsza, wcześniejsza, w stosunku do tej drugiej - w tym przypadku wyjścia na spacer.

Oczywiście można użyć konstrukcji z after - "After I had done my homework, I went out for a walk."

Forma "having done" musi być używana do czasowników dokonanych.

Bardzo dobra odpowiedź pigolab. Czynność wyrażona przez "having done sth" jest uprzednia względem drugiego zdania składowego.
Ja dodam tylko ze swojej strony:
Można to samo zdanie powiedzieć jeszcze na dwa sposoby:
After doing my homework, I went out for a walk.
After having done my homework, I went out for a walk.