職場の人間関係について質問です。

今休職中なんですが、職場の周りの人に合わせてたんですが合わせるのが下手すぎて相手に振り回されるのが嫌で病んでしまいました。合わせずにしてたら相手も最初から冷たい感じでしたが、中には合わせてくる人やよそよしく他人行儀にしてくる人もいます。この人達と上手くやろうとは思いませんが、毎回飲み会(月1程度)や会社でイベント事とか関わらないといけない場が多くて思い出すと辛くなります。飲み会も行きたくないですけど、毎回断るのもアレだしって感じで…どうすればいいと思いますか？