面倒くさいおばさんが私にからんできて困っています。

ある日、飲み会の日車で駅まで送ってくれと上司がおばさんに頼みました。おばさんが行かない飲み会です。おばさんは送る事は凄い嫌そうでした。私はおばさんに送ってくれとも言っておらず、上司が私に一緒に乗って行こうよ。といわれたので仕方なく乗りました。しかし後日、そのことを他の同僚に私がいる前で文句を言っていました。車に乗ったんだから同罪だとまで言われます。雨の日も上司が、乗っけていってもらおうよとおばさんの前で言ってきます。上司なんでどうしていいかわかりません。今は、バスがあるので、バスで帰りますと言っていますが、非常に立場が悪いです。 おばさんには上司が言っているだけでといいますが嫌な顔をされます。 このおばさんどうすれば、私の誤解をとけますか？私は上司の指示に従っているだけなのですが。