Ja kannst Du
da Du das Sorgerecht hast und somit auch das Aufenthaltsbestimmungsrecht.
Wenn er kein Sorgerecht hat,dann sind das alleine Deine Entscheidungen,rechtlich kann er dagegen nichts tun.
Dennoch, sprich mit ihm, erklär ihm die Sachlage, besuchen kann er ja trotzdem, vielleicht findet sich eine Lösung, Du bringst die Kinder die halbe Strecke oder so.