面接が決まっている場合でも辞退出来ますのでご安心ください。
忙しくても候補者の対応をすることがエージェント側の業務ですので、エージェントへ辞退の連絡したのに、企業側に連絡していないのはエージェント側の責任となります。
エージェントの動きにご不安があるようでしたら、面接調整時に企業の緊急連絡先などが記載されている可能性があるので、念のためエージェントへ辞退の連絡をさせていただいたが、返事がないので直接連絡した、と伝えていただくのも手段だと思います。
ただ、一般的にはここまでする必要はないかと存じます。