不安な恋愛の対処法

これまで恋愛で不安になったことはなかったのですが、今の彼と付き合ってから初めて不安を感じており、正直かなりつらい状態です。 大阪出身の彼は、長期休暇や友人の結婚式があると実家に帰省します。その際、高校時代の男女グループでユニバや万博など遠出することが多いようです。彼も少し気まずいと思っているのか、私から聞かない限り「男女グループで会う」とは言ってくれません。 以前、彼がそのグループの中の女性1人を「かわいい」と言っていたことや、他の友人の話はよくするのにこのグループの話だけは一切しないことが引っかかっていました。帰省のたびに会っているのではないかと想像してしまい、深く落ち込んでしまいます。 一度「不安でつらいから別れたい」と伝えたところ、彼は大阪に帰ったときに頻繁に連絡をくれるようになり、1日中のお出かけではなく飲み会だけにするなど、配慮してくれるようになりました。 ただ、過去に男女グループでスノボに行った際、彼が例の女性とリフトに乗り、ツーショット写真を撮っていたのを見てしまったことがあります。(彼に写真を見せてもらった時にツーショット写真が出てきて話を聞きました)その光景を思い出してしまうと、彼が帰省するという話を聞くだけで不安が押し寄せ、涙が止まらなくなってしまいます。 どのように気持ちを整理し、対処していけばよいでしょうか。 彼とは4年付き合っており、好きな気持ちはあるので別れたくないのですが、不安になる気持ちがつらいです、、、