会社のストレスは会社の人と発散しようと言われたんですが正直理解できません。

ストレスに弱い人間です。以前休職してたのもあって会社の人からやたらご飯に誘われたり遊びに行こうと誘われます。(しかも男性) そもそも会社の人が嫌で休職してたのにプライベートも関わるのがしんどいです。何なら元気そうにみえるからしんどそうにみえないとも言われます。仕事中にしんどい態度出す人もあまりいないと思います。自分の素を会社の人にさらけ出す人は逆にいるんでしょうか。嫌すぎて同じ会社ではない人とプライベートでは過ごしています。誘われても断ってるのですがずっと言ってくるのでもう言ってこないようになるにはどうしたらいいでしょうか。