私が重い？付き合っていない？

知り合って3週間、付き合って1ヶ月ちょっとの彼がいます。 当初からいろいろ問題が。 付き合った初日にお金を貸してほしいと言われ、すごく悩んだ上で貸しました。(分割返済で、初回は返済済み。) 私がクリスマスプレゼントをあげたり、年末年始に2回ほど彼の家に行ってご飯を作って一緒に食べました。 しばらくしてから、彼の方から「生活が苦しいのに彼女を作っている場合じゃなかった。何かしてくれても何もしてあげられない。自分が情けない」などと言われ、付き合っているか聞いても、「自分に自信がない」と言いました。 私は愛されたい、スキンシップもしたいのに、なんだか表面上の付き合いのようです。 定期的に一緒にウォーキングに行っています。彼は「ウォーキングは続けたいしこれからも仲良くしたい」と言っています。はぐらかされてますか？