Może dlatego, że jest to zdanie twierdzące więc zgodnie z zasadą konstrukcji zdania najpierw dajesz podmiot (goal line) a potem orzeczenie (was). Gdyby was byłoby po where byłaby to konstrukcja zdania pytającego.

1) It was difficult [...]to remember 2) where our [...] was.

- to drugie zdanie (w zdaniu złożonym) jest zdaniem twierdzącym, dlatego "was" jest na końcu.

jest to pytanie zależne mino,że na końcu zdania nie występuje znak zapytania.
W takich typach zdań (pytań) nie stosujemy inwersji ani posiłkowego <do> aby utworzyć pytanie. Po zaimku pytającym następuje zdanie twierdzące.
Często takie pytania zależne są po takich frazach:

Do you know.... (Do you know where my book is?)
Tell me... ( Tell me where he lives)
Could you tell me....( Could you tell how old you are?)
I don't know.... ( I don't know what she is doing)
It is ... ( It is important where she works)

Znak zapytania stawiamy na końcu zdania jeśli pierwsza część zdania jest pytaniem

Mam nadzieję,że to trochę rozjaśni