これって性格悪いですか？

私はまだ人を恋愛的な意味でちゃんと好きになれたことがないと思います。 ちょっといいなくらいは思ったりするんですけど、実際に好意を寄せられると自分はそれに見合うだけの気持ちを返すことはできないなって思ってしまってどんどん気持ちが冷めて引けてしまいます。 前は付き合ってみたら好きになるかもしれないと思いお付き合いしてみたこともありますが、どうしても恋人同士の距離感や相手と自分の気持ちの大きさの差に違和感を感じてしまい、ストレスで吐いたり入院したりするくらい拒絶反応が出てしまいました。 異性の飲み友達とか普通の友達に明らかに好意を寄せていると分かってしまい、友達を失いたくないという気持ちと、この好意を無視して一緒にいることの罪悪感がせめぎあっています。 私は普通の友達というか、飲み仲間くらいでずっと仲良くしたいと思っているんですが、周りにはキープしてるとか弄ぶのは良くないとか言われてしまいます。(恋愛感情ないのでキープも何も無いんですけど…)これはもう連絡を断った方がいいのでしょうか？