夫がアスペルガー症候群です。家族の今後について悩んでいます。

私は夫との結婚後、遠くに嫁ぎました。
夫とは付き合っている時から、何となく変わっている感じはしていたのですが、心優しい人なのでそれも個性だろうと思い結婚して二人の子供を授かりました。

結婚後困ったのは、経済力の頼りなさでした。仕事はあまり熱心でなく、自分のやり方を貫きたがるので、周りと折り合いが付きません。趣味を仕事にしているのですが、なんとなく仕事をしている感じです。一生懸命ではありません。それ故に給料もはっきり言って低いです。ギリギリの生活です。
それなのに、急に高額なものを自分の為に買って来たりします。自分の趣味に費やすことは、夫にとっては最優先です。
私は日々子供達を育てる為に1円でも節約して生活しているのに、何故夫はこうなのかと心底うんざりしてしまいます。

夫と話し合いをしても、
自分は自分は、、、、
僕の考えは、、、
周りが間違っている。
自分が正しいのに。
自分のやり方は、、、
と私に話すスキが無いくらいしゃべりまくり、ひと段落して私が話をしようとすると
僕は疲れた。明日にしてくれ。
頭が痛い。
と上の空で話し合いになりません。

育児は完全に私任せで、家事協力もあまりありません。

生活、経済面、育児で唯一頼りにしたい夫ですが、頼りになりません。

何でうちの夫はこうなんだ？
どうしてまともなコミュニケーションが出来ないんだ？
私に原因があるのか？
何でこの人と結婚しちゃったんだろう？
離婚すべきか？
将来このままで大丈夫か？
どうやって子供を養っていこう？
とずーーと悩んできました。

最近クリニックでアスペルガー症候群との診断を受け、思い当たる節が多々あり納得した反面、将来に不安を抱えています。
夫の世界は自分一人だけで、周りの人は場外にいるようです。周りに合わせることより、自分の考えを貫くことが人生の目的のように感じます。夫婦なのに、家族なのに、一緒にいても私や子供は夫とは別世界に生きています。寂しいです。
知能障害の無い自閉症というのを見て、まさに！と思いました。

私も仕事をして家計を支えてきましたが、二人の娘たちが小さい今、育児で仕事を続けることが出来ず、夫の元では生活出来ず、私の実家に帰って生活しています。

私の実家の両親も薄々感づいているようですが、事細かには話していません。両親に相談したら本気で眠れない程心配をかけること。四六時中夫の悪口を聞かされるのも私と子供のストレスになります。正直両親は夫のことを嫌っています。第一の原因は私を大事にしていないということです。第二は経済面です。

今は実家でゆっくりと過ごしたいと両親には話して、両親は受け入れてくれています。私の実家は経済的には余裕があるので、子供達も安心して暮らしています。

ただこのまま実家に居てはいけないので、そろそろ帰らないといけないかと思いますが、以前の生活に戻ると考えるとかなり気が思いです。私は戻りたく無いのか正直な気持ちです。子供達も今は気持ちが落ち着き幸せそうです。

かなりマイナス面をアピールしてしまった夫ですが、子供達は個性的なパパを慕っていて夫がたまに会いに来ると、パパもここでみんなで暮らせばいいのに。と話しています。
夫は、「今子供達は幸せな顔をしている。だから、たまに会いに来るから、このままでいい。」と言います。
しかし、父親の存在はやはり子供にとっては必要だと思います。私は家族は一緒でないとと言う思いもあります。

今後どうしたらいいのか迷ってます。

今の私の希望は私の実家近くに引っ越しをして新しい生活を構築できないだろうかと考えていますが、環境の変化にアスペルガー夫は適応できるのか？実家があるとさらに仕事を怠けるのではないか？
両親と同居しないにしても、近いと両親ともっと仲が悪くなるのではないか？
と心配は尽きません。

アスペルガー症候群のパートナーをお持ちの方、夫婦間の悩み分かるよと言う方など、ご意見をお聞かせ頂けると幸いです。

長文で失礼いたしました。
妻目線の内容なので、男性側からすると違うと言うところもあると思います。
もしも不快な思いをさせてしまった方がいらしたら、本当に申し訳ありません。気持ちを相談できる相手が居ないので、ここで聞いて頂けるだけで少し救われます。