Путешествия во времени как аргумент против детерминизма

Начал думать о том, нарушают ли гипотетические путешествия во времени прямо или косвенно второе начало термодинамики, и надумал неожиданный аргумент в пользу детерминизма.
Резонно полагать, что время, чем бы оно ни было, имеет одинаковую природу независимо от места и роли наблюдателя. И даже если это не так, какую-то постоянную основу своей природы оно иметь обязано, иначе не было бы неким цельным явлением/процессом, и мы вообще не могли бы говорить о существовании времени. С другой стороны, прошлое детерминировано (изменчивое прошлое существует только в книгах про попаданцев и анекдотах на политические темы). Хокинг, например, считал, что путешествия во времени невозможны в принципе.
Так почему же нас смущает детерминизм в будущем? Если события, расположенные позади нас на временной оси, жёстко зафиксированы, то не логично ли считать, что точно так же предопределены события в будущем? А если это не так, то можно ли, действительно, говорить о существовании времени?