男性に夜飲みに誘われたから断ったけど…

いつなら都合空いてる？と言われてますが、正直夜に誘われた時点でこの人アウトだなと感じてます。断ってもいいですよね？