Która wersja jest poprawna: "This is James' dog" czy "This is James's dog"?

nie dodaje się dodatkowego "s" kiedy słowo kończy się na "s" - w tej sytuacji dajesz apostrof po "james" ,bo nie da się tego wymówić - za dużo syczenia po prostu -

W przypadku gdy rzeczownik w liczbie pojedynczej kończy się spółgłoską -s wyrażając przynależność możemy dodać końcówkę dopełniacza 's(apostrof + s) lub sam apostrof:
Doris' husband lub Doris's husband.
Wielka gramatyka j. angielskiego

http://www.focus.olsztyn.pl/gramatyka-rzeczowniki-possessive.html#.UqYxE_R5N8E

http://angielski.na6.pl/dopelniacz_saksonski

ale na egzaminie nie zalicza samego apostrofu. Tylko końcówka 's uznawana jest za poprawną na egzaminie, a brak s na końcu potraktowało mi jako błąd

Obie formy są poprawne, zarówno James' dog, jak i James's dog. Druga forma zyskuje na popularności, choć początkowo, według zasady, poprawniejsza była pierwsza.
I tak: (singular) - dodaje się 's do rzeczownika (father's, Alice's, James's, Anna's)
- dodaje się ' do rzeczownika zakończonego na -s (James', Doris', Socrates')
Wymowa jest taka sama bez względu czy to jest 's czy ' (-siz)
(plural) - dodaje się ' do rzeczownika w liczbie mnogiej (parents', the Smiths')
Wymowa się nie zmienia [parents] = [parents']