To jest czas Present Perfect. Takie coś pośredniego między przeszłością a teraźniejszością. Czasem służy do wyrażania czynności, które zaczęły się kiedyś i trwają aż do teraz, czasem do podkreślenia skutku czynności przeszłej w teraźniejszości. Obszerne notatki znajdziesz gdzieś w zakładce z gramatyką.

Czy można opuścić "have"? Nie. Powstanie wtedy zupełnie inny czas lub jakiś niepoprawny twór.

I always start... - tu nie ma "have", ponieważ użyto czasu Present Simple - do czynności zwyczajowych, powtarzanych regularnie itd.
I've never seen... - Nigdy nie widziałem... (= nigdy do tej pory, nigdy w swoim życiu) - tu mamy właśnie Present Perfect, na który składa się czasownik "have/has" i Past Participle (czasownik regularny z końcówką -ed lub tzw. III forma czasownika nieregularnego, np. seen od see). Nie można opuścić "have", ponieważ sam czasownik w III formie (seen) nie występuje jako orzeczenie.
I had (have?) always wanted... - zdanie bez "have" byłoby w Past Simple i miałoby trochę inny sens - kiedyś/dawno temu zawsze chciałem... W Present Perfect (I have always wanted...) to zdanie oznacza: Od zawsze chcę/chciałem... (aż do teraz, cały czas). Czas Past Perfect (I had always wanted...) stosuje się do czynności jeszcze wcześniejszych niż opisywana w wypowiedzi jakaś czynność przeszła.
I've had this mug... - tutaj też mowa o sytuacji, która trwa od jakiegoś czasu aż do teraz. Gdybyśmy pozbyli się "have", zmieniłby się sens zdania na "Miałem ten kubek przez wiele lat..." (a potem oddałem go siostrzenicy i już go nie mam).

Amerykanie mają tendencję do upraszczania i zastępowania czasu Present Perfect czasem Past Simple, ale też raczej nie wtedy, kiedy mowa o czynności rozpoczętej kiedyś i trwającej do teraz.