事務職経験者です。
私もわりと暇にしていたことが多かったですが、暇な仕事が多い…というより、忙しいときと暇なときがあるんですよ。
仕事がないのに雇われているというより、「仕事を頼みたいときにいないと困るから雇われている」という感じでしょうか。
事務は基本的に指示された仕事をする立場なので、指示がなければ仕事がないこともあります。
でも、指示が多ければ、それこそ残業などになる場合もあるのです。
そのあたりのムラがあるということですね。
営業のように、新たな顧客を獲得するというような働き方もできませんから、時間が余るのです。