古物商を本業にしていくための時間の使い方について。

会社員をしながら副業で物販をしています。 古物商を持っていていわゆる転売ですがきちんと届けは出しています。 会社も規則で副業オッケーな会社です。 今年の秋から冬頃に会社を辞めて本業でやっていこうと考えていますが、本業でやってる先輩から見れば自分は本気度が足りない、みたいな反応です。 朝会社に行って夕方以降に帰ってから仕入れた商品の検品やら出品作業とかをやったとしても、次の日の仕事の準備やらやらなきゃいけないことなどやったら2時間、多くても3時間くらいしか副業の時間が取れません。 それ以上やると睡眠時間を減らして作業するため、いずれは自分の体や体調などに影響がでます。 最近知り合った本業の古物商の方に聞かれて「こういう生活してます」と伝えたら「ふーん、頑張ってね」みたいな軽い返事で終わってそのままです。 その人はいい人で、自分にとっても恩人なので悪く言うつもりは全くありません。 もちろん時期によっては徹夜してやらなければいけない状況もあることは分かっています。 ただ、いずれ会社をやめるとはいえ会社員しながら副業でやっている状況と、本業で1日物販に時間を使える人とは使える時間量が違うため、「こいつ本気じゃねーな」という対応をされるのは仕方ないんですかね？ 皆様なら副業に使う時間の使い方をどうしますか？