Nie do końca masz rację.
Najpierw sprostuję to, co napisałeś w czwartej linijce.
Jeśli chcielibyśmy w tym zdaniu użyć przymiotnika, to właśnie poprawnie byłoby: That was a terrible sound.

A teraz kilka słów o tych przymiotnikach i przysłówkach.

Rzeczywiście, jest tu pewna niesymetryczność, jeśli chodzi o tłumaczenie przysłówków i przymiotników na polski, zwłaszcza kiedy opisujemy coś, co odbieramy za pomocą zmysłów.

Chodzi o to, że w angielskich zdaniach tego typu używa się najcześciej właśnie przymiotnika.

This dish looks tasty. - dosł. Ta potrawa wygląda smaczna/na smaczną, ale lepiej po polsku brzmi: smacznie (przysłówek).
That sounds wonderful. - dosł. To brzmi wspaniałe/na coś wspaniałego, ale przetłumaczymy: wspaniale.
It smells awful.
It tastes great.
She looks pretty.
That sounds terrible.