Jest to konstrukcja wykorzystywana, aby wyrazić nasze niezadowolenie, irytację, że dana rzecz jeszcze się nie wydarzyła, i tak jest w tym przypadku:

It's time we got married.
It's time + subject + past simple

natomiast konstrukcja:
It's time + to "infinitive" - jest używana, aby powiedzieć, że coś powinno się wydarzyć, ot tak po prostu

Porównaj:

It's time you went home - Najwyższy czas abyście wreszcie już poszli do domu (czyt. wasza obecność już mnie irytuje)
It's time to go home - czas iść do domu (wyrażenie neutralne, wyrażające, że już czas abyśmy poszli do domu)