子供連れ旧友コミュニティ参加の拒否どう伝えたらいい？

保育所から仲の良かった子が(小中高別）が保育所メンで集まらないかとお誘いあり、「え！誘ってくれるの？ありがとう」って思ったら皆ほぼ子連れで来るらしくて参加を拒否したい。でもその子は純粋な眼差しで来週･来月はどう？って私メインで聞いてくる。私だけ子供いないみたいであっちはそれを配慮の対象に入ってないみたい。私自身不妊治療中で子供をあまり目に入れたくないのもある（虚しくなって辛くなるから）。でも拒否を続けていくのもしんどい。遊びたい気持ちはあるけど子供は連れてきて欲しくない。どうしたらいい？