放課後等デイサービスなどの支援施設に大人の発達障害または精神疾患を持つ人が働いていると、利用する側の御家族としては不安を持たれますか？

私はアスペルガーのグレーゾーンという診断を30代に入ってから受けました。現在 知人が立ち上げた放課後等デイサービスでアルバイトを経て正社員として働いていますが、どうしてもミスが多く、大人の発達障害であることがちゃんと伝わっていないままだったため、人間関係に行き詰まっています。
また二次障害なのかは定かではないですが、10代から解離性障害を抱えているため障害者手帳も持っています。
上司(前述した知人)は仕事をする上で病気や障害を言い訳にするな、病気のことは口にするなと言われていますが、強いストレスを受けると言葉が出てこなくなり固まってしまうため職員間でのトラブルも度々です。
デイの子ども達と接しているのはとても楽しく、私が休みと聞くと残念がるほど慕ってくれている子もいるそうです。何より子ども達の成長を見守り、笑顔が見られるのが幸せなのですが、職員の中では完全に問題児になってしまっているのでほとんどまともに会話できない人もいます。

困りごとを抱える子に寄り添い、自分のような孤独な子ども時代を過ごす子が一人でも多く笑顔になれたら…と思って働いてきましたが、法改正の関係で専門知識のある人を近々雇用する必要が出て来て、私が去るべきタイミングが来たのかな…などと考えてしまいました。

長文の割にはほとんど愚痴のような質問ですが、今 私が指導員として働いているのが正しいのかどうかがわからなくなってしまいました。
厳しい言葉でも良いので、ご回答願えるとありがたいです。