義父母との関係

義父母と二世帯で暮らしています。子世帯は旦那と子供が３人います。玄関が一緒であとは別です。義母と私はお互い気を遣ってしまう性格なので、疲れてしまうことが多いです。一緒に住み始めて6年目なのでだいぶ慣れてきましたが、玄関が一つなので悪口のような聞きたくないことも聞こえてきたりとストレスが溜まります。私も人間なので、悪口を言われた数日はあまり話をする気分ではなくなってしまいます…さっきまではニコニコ私と話していたのに、義父に私の悪口を話しているのを聞いてしまうことがしばしば…その度に人間不信？のような感じになってしまいます。気にしなければいいのですが…私のような立場にいらっしゃる方いませんか？どうしたらうまく付き合っていけると思いますか？完全同居の方のアドバイスも聞きたいです。よろしくお願いします。