To zależy.
> By whom was the telephone invented?
Poprawna, ale trochę przestarzała forma. Współcześnie tak się raczej nie mówi, chyba że bardzo oficjalnie. W codziennej mowie raczej się z tym nie spotkasz. W tekście prędzej.

> Whom was the telephone invented by?
Konstrukcja podobna do poprzedniej. Również możliwa, ale średnio brzmi, bo prepositional phrase "by whom" jest rozbite — na początku i na końcu pytania.

> Who was the telephone invented by?
Obecnie najbardziej naturalnie brzmiąca i najpopularniejsza, a jednocześnie niepoprawna gramatycznie wersja. Jej niepoprawność bierze się z tego, że "who" i "whom" są używane w różny sposób, w zależności od tego, czy odnoszą się do podmiotu (subject — who) czy do przedmiotu zdania — w polskiej gramatyce to jest dopełnienie (object — whom). Mimo to native speaker najczęściej powie w ten sposób.
Być może w UK zdanie z "by whom" brzmi trochę bardziej naturalnie niż w US.
W ogóle od jakiegoś czasu odchodzi się od formy "whom". Jeśli już, to można ją znaleźć głównie w formalnym piśmie.

Zależy, czy pytasz, bo uczysz się tego w szkole i masz np. przygotować zdanie z "who" w passive voice czy dlatego, że po prostu chcesz wiedzieć, jak się mówi. W szkole mogą wymagać jakichś "mniej życiowych", ale za to zgodnych z klasyczną gramatyką zwrotów.
W codziennej, współczesnej mowie w ogóle rzadko stosuje się stronę bierną, bardziej spodziewałbym się czynnej — "Who invented the telephone?".

Tutaj podobne pytania. Mogą trochę uzupełnić, o ile wyjaśnienia nie będą zbyt trudne.
https://ell.stackexchange.com/questions/155352/whom-was-the-radio-invented-by
https://forum.wordreference.com/threads/by-who-whom-question-using-passive-voice.2059733/
https://forum.wordreference.com/threads/who-question-in-passive-voice.3013343/

W razie dalszych pytań pisz śmiało, spróbuję pomóc to zrozumieć.