お相手、男性ASD＋ADHD特質少し（診断済）の方との恋愛で悩んでいます。
本人からは衝動性を抑えるのが苦手だと聞いた事があり、気になった人に小学生男子がよくするような好きな子をイジメてしまうような発言がたまにあります（私がされていた）が、相手をよく知って信頼したり尊敬できた場合には見下し発言などはなくなります。
特性をお持の男性の方、ASD男性との恋愛経験のある方がいらっしゃれば教えて下さい。

お互い30代後半未婚。当方AC、主に父からの虐待により男性不信ありです。
職場での出会いで相手の方から告白されるも、恋愛対象として見た事がなかった事と、その方のギャンブル依存症による借金があることや、告白内容の隅々に体（俺とやりたいでしょ）、金銭（月収いくらくらい？ホテル代割り勘できる？）、労働搾取（掃除洗濯料理アイロンがけ得意？）目当と思える発言がありお断りしました。

その後付き纏いなどもなく業務上の接点もあまりなく平和に過ごしていましたが、いつのまにか相手の方がこちらを好きだという噂が社内や関連企業にまで広まっており、噂の出所がその男性で普通にアプローチしても相手にされないため、周りを固める方向に切り替えた、自分がしっかりしないと付き合ってくれないから借金返済を頑張っている、家事も相手任せにしない、結婚したい、あの人無しでは生きていけない、別の男には渡さない、絶対に諦めないなど言いふらしていたようですが何故か私は最近ずっと無視されています。

最近の噂では他の男とあの人がくっ付いたらその男にも私にも危害をくわえるかもしれない、そんな危険な男はあの人には相応しくないんじゃないか、幸せにする自信がないなどいいつつも、やっぱり諦められない等言っているようです。

こちらとしてはそれ程強く思われているならばお付き合いまでいかずとも何度かデートを重ねてお互いに合うか確かめたい、だめでも相手の方が私を理想化して執着しているふしがあるので幻想を壊して楽にしてあげられる（諦めさせてあげられる）のではと思い、休日に食事に行く日にちだけ約束をしましたが、時間や場所の相談のため連絡するも、電話に出ず、メールは送信エラーになり結局行けず。
ASDの特性で約束した事自体を忘れてしまったのかと思い次の機会を設けようと話に行くも会いたくない、電話で話す気もないと逆ギレされてしまいました。
その方と仲のいい人達の噂では好きすぎて緊張しすぎ、電話に出られずメールはブロックしてしまったらしいです。

噂が広まった事により、その男性に片思いしている女性やその女性と仲良しの女性、男にモテる事が気に入らない嫉妬深い女性から陰口、業務上の嫌がらせ、睨みつけられるなどされており辛いです。

相手男性の行動だけ見ると、合う約束を守れない、2人だけの秘密にしてと話した事を人に話す秘密を守れない、挨拶などしても無視する、話しても冷たい事を言うなど、振られた腹いせの手の込んだ嫌がらせなのでは？と思える事も多々あります。

ASD当事者の皆さん、片思い中で諦めきれないけど幸せにする自信がないと思って避けている相手から、アプローチされるのは逆に辛いのでしょうか。
そもそも、好きだ好きだと言っているだけで本当は周りの注目を集めたいだけとか、嫌がらせなのではないかとも思えますがどうなのでしょうか。

ASD男性とお付き合い経験がある方や、ご結婚された皆さん、お付き合いにあたり覚悟した方がいい事、そもそもお付き合いに進まない方がいいなどアドバイスありましたらご教示頂けますと幸いです。

長くなり申し訳ありませんがよろしくお願いします。