友人との付き合い方について質問します。

初めて質問いたします。失礼な点がありましたらご容赦願います。

ADHD当事者（診断済）です。

私は急な予定変更が苦手なタイプです。
予定がわからないと非常に不安になります。
医師とのカウンセリングの中で、イライラや怒りの原因はだいたいこれから派生していることが分かってきました。
白黒はっきりさせたい、早く結論を出したい、こういう性質が強いです。
私も、何事もあいまいなこともあるのだ、と、すべて白黒はっきりさせないよう、訓練しているところです。

とはいえ、ストレスにならないよう思いつく要因はなるべく排除したいという思いもあり
旅行など何か予定がある場合は当日何かトラブルがあるとパニックになるので、
なるべく事前に宿をきちんと押さえておく、とか、
逆に電車の遅延の可能性等を考慮して予定に幅を持たせるとかやりくりしています。

身近な家族は私の特性もよく理解してくれているし、
私自身理解してもらえるよう説明して話し合ったりしています。

ただ、友人関係だと難しく、
・予定をギリギリまで入れたくない人、
・「今度、どこどこ行こうね」と言って、結局実行しない人
・その日の気分で予定を考えたい人
・連絡がマメじゃない人
こういう友人との付き合い方で悩みます。

例①
友人が「今度、どこどこのランチ美味しいから行こうね」と言ったとします。
その場合、頭では「口だけ言ってるだけで、ほんとに行く訳じゃないだろう」
と思っていても、どうしても気になってしまいます。
「ここのお店、こんどふらっと来ようよ！」等など…
言われた時点でストレスを感じることがあります。

例②
いついつご飯食べに行こうと日にちを決めたとします。
私は当日お店をどうしようと決めること自体、イライラしてしまうので
自分が主催する時はたいてい予約するのですが
友人が主催の場合、
「お店は当日でいいんじゃない？」とのことで、
結局行きたいお店は満席でいろんな所をうろうろしてようやくお店を見つけて、そしたら
「こういうのが楽しいんじゃん」と言われました。
この時間が勿体ない…すごく疲れた…と感じてしまいます。

例③
「こないだ話していたいついつの予定、どうなりそうですか？」と連絡しても
その返事自体が遅かったりする人。

合わせすぎなところは反省点で、今後はその都度自分の意見を言おうと思うのですが
その時点では割とパニックになっていてうまい返しが出来ないことが多いです。

家族であれば「あのときこうだった」など、自分の特性をよくよく話し合う機会もあるのですが、
友人だとそこまで長い時間接している訳でもないし
いちど自分がこういう特性の持ち主であることを伝えたことがありますが
「よくわからん？それがどうしたの？」
と思った程の反応がないこともあって、
良い意味ではそれで付き合い方を変えられることはなかったのですが
そこから説明出来なかったことも…
説明したけど、よく分かっていない友人もいます。

＜質問＞
上記のような人との付き合い方は皆さんはどうされていますか？
距離を置きますか？
付き合う場合、こういう方との約束はどのようにしていますか？
全ての質問じゃなくても良いですので、工夫されていることなどありましたらお願いいたします。

とりとめのない質問で申し訳ありません。