社員さんの仕事中の私語に困っています。気にせず仕事に集中した方がいいのでしょうか?

僕は食品卸売会社の倉庫内でオリコン(出荷する菓子などを入れる箱)の洗浄室で週3日勤務しているのですが、最近は僕と社員さんとの勤務の時社員さんは、別の曜日にここで勤務している後輩の仕事の様子とか考え方について「あの子は動きは早いけど要領が悪い」とか「あの子は他の現場で人間関係が上手くいかなかったからここに来たんだよ」とか他は「残業してみたら?」とか「婚活してみたら」とか言ってきます。仕事に関してとかは少しくらいならいいと思うのですが、後輩の悪口(?)をたびたび言ってくる事に困ってます。その後輩とは昼食とか一緒に食べたりしてるし相談にものったりしているので社員さんがそのような話をするたびすごく胸が痛みます。後輩一生懸命やってるじゃん僕だってこの後輩位の年齢の時はそんな感じでした。僕の見てる限りとか話を聞く限りはさぼってたりしてることもないので・・ところでどうしてこの社員さんは僕にたびたび後輩の事を言ってくると思いますか?ただの愚痴なのかそれともその後輩と僕は年齢が近いから言ってるのかはよくわかりません。回答よろしくお願いします。補足ちなみに僕は25歳です。