言えないがゆえに断れない

遊びたくないから、「ごめん最近忙しくて遊びには行けない」と連絡すると「じゃあいつなら遊べる？」とだるい返信が毎回きます。いつもはじゃあこの日なら行けるかもとか言って遊んであげるのですが、もうその人と遊びたくありません。どうしたらいいでしょうか。