彼氏が不倫していたかもしれません

彼氏（20代後半）が打ち明けてくれた話に少しモヤモヤしたので、客観的にどう思うか教えてください。 以下に彼氏から聞いた内容を並べます。 昔、会社の同僚の女性（20代前半）と付き合いそうな感じがあった。 その女性は旦那さんと子供がいたけど、夫婦関係は破綻していた。（旦那さんと子供の年齢は不明） 女性とは個室で会うなどはしたが、「入れてはいない（この言い方にモヤモヤしている）」。 女性と旦那さんが離婚してから真剣に付き合う想定だったが、最終的にその夫婦から慰謝料請求などが来た。（彼氏が言うには女性は旦那側に付いた） 弁護士に相談して、不貞の事実なしのため慰謝料を払うことはなかった。 傷を抉りたくなかったためあまり詮索はできず、私が知っている内容は以上となります。 彼氏は「過去のトラウマで女性不信になった」という話の一環で話してくれたのですが、この話を聞いた時、理由を上手く説明できませんが、このまま付き合っていて問題ないのかという疑問が浮かんできてしまいました。 法的に不倫していた事実があるわけではないし、私のことを大事に思ってくれていることが伝わってくるので、今は彼氏をじて付き合い続けているのですが、何か見落としているでしょうか。 逆に、モヤモヤしているのは疑いすぎているせいで、何も問題ないのでしょうか。 説明不足なところもあるかと思いますが、皆さんのご意見をお聞かせくだい。