Must = przymus wykonania jakiejś czynności wychodzący od samego mówiącego (bardziej "wewnętrzny" przymus)
Have to = przymus wynikający z okoliczności w których ktoś się znalazł (bardziej "zewnętrzny" przymus)

Więc wszystko zależy od kontekstu. Obie wersje mogą być poprawne
(I'm afraid będzie nieco bardziej naturalne:)

Pozdrawiam

Dziękuję bardzo,rozumiem różnicę.

Przychylam się do odpowiedzi jilolowko, jeśli chodzi o wyjaśnienie zasadniczej różnicy między "must" i "have to".

Jednak w Twoim pytaniu niepokoi mnie trochę inna rzecz, a właściwie dwie:

1) Po pierwsze, po "must" nie używamy "to" przed następnym czasownikiem.
2) Po drugie, w Twojej propozycji opuściłabym nie tylko "to", ale też "but":
I'm afraid I have to go / I'm afraid I must go - dla mnie oba te zdania znaczą właściwie to samo (pomijając drobne niuanse o tym, gdzie tkwi przymus - o których pisał/-a jilolowko): "Obawiam się, że muszę iść", czyli w grzeczny sposób kończę rozmowę/spotkanie, bo mam np. inne pilne sprawy. I jeśli jakiś spójnik miałabym dodać w tym zdaniu, to byłoby to "that" (że), w sposób naturalny opuszczane w języku angielskim.
Dodanie "but" moim zdaniem zmienia nieco znaczenie tego zdania: "Obawiam się/Boję się, ALE muszę iść" - tak mógłby powiedzieć np. bohater jakiejś baśni, który ma przed sobą wędrówkę przez straszny las w drodze po jakąś "żywą wodę", która uratuje kogoś bliskiego, albo - bardziej prozaicznie - pacjent pod gabinetem dentystycznym. :)