確かに内定承諾書を提出していようが、職業選択の自由があるので、あなたの行動には何の落ち度もありませんし、内定を頂いた会社から非難される言われもありません。
ただ、内定を頂いた時にあなたが、「就活を終えます。御社に入社させて頂きます」と返事をしていたのなら、どんな弁明をしても言い訳になってしまいます。
ここは開き直って「御社に内定を頂く前から○○社の面接が決まっており、リクルーターさんに断りきれなかった」もしくは、「御社が第1志望なのは間違いありませんが、最後に○○社の話も聞いてみたかった」と答えるしかありませんね。