問題行動のある我が子への配慮と周囲への配慮について。

中学2年生で力も体力も大人と同じくらいになった息子。広汎性発達障害。思い通りにならないと大声を出したりときには人に危害を加えたりもします。稀に前触れなく突発的に危害を加えることもあります。様々な方の協力をいただき、合理的配慮や支援も受けています。

今回皆さんのご意見をいただきたいことは、息子に対する支援や配慮ではなく（専門家から十分受けていますので）社会参加はどこまで由とできるかについてです。

私個人としては、理解いただいている方々のコミュニティ以外で、他者の迷惑になることはしてはならないと思っていますので、十分な協力者がいなかったり理解をいただけていない中での外出は控えたいと考えています。過剰に配慮されて周囲のスケジュールや行動に制限を持たせることも同じです。

私はこのように考えていますが、人によってはもっと柔軟に捉える方もいらっしゃり、周囲に迷惑を掛けることが明らかでありそれを承知で外出や行事への参加を勧めてくる方もいます。
声を上げなければ他人の理解を得られないことは分かっていますが、図々しいくらいの権利主張をすることには疑問があります。

お金持ちにはお金持ちのコミュニティがあります。一般人は一般人のコミュニティがあります。交わるところも多いですが、交わらないところも多いです。一般人も豊かな生活を求めていきますが、限界は当然あります。
障害も同じだと思います。完全に隔離されている訳ではないのですから、丁度いい距離感というものがあると思います。

他者の権利を侵害しない範囲で最大限の自由や権利を与えてあげたいと考えていますが、少し狭くて少し他の人より制限があったらいけないのでしょうか。いつも悩みます。