先生の発言と保護者がとるべき対応。

いつもありがとうございます。長文ですがお知恵をお貸しください。
小学３年、自閉スペクトラムとADHD.LDをあわせ持つと見られる息子が居ます（受診検討中）
通常級在籍（全日補助員の方に付いて貰っています）
週１で校外通級、及び民間少人数SSTと、月１で作業療法に通わせています。
その事は担任の先生を始め校長先生、コーディネーターの先生には報告済み、小さな僻地校なので他の先生もご存知な環境です。

現在、算数のみ、追加の先生も担当しそもそも少人数な学校ですが、更に少人数にして指導を受けています。
相談の結果、息子は常に女性の担任の先生が担当するグループに入れさせていただく配慮を受けています。
担任の先生との信頼関係は、出来ているようです。
今回問題なのは、もう一人の算数のみの男性の先生です。
前述の通り、息子にはLDがあり、書字と計算にのみ困難さがあります。
授業中や宿題中、気が乗ったときしか書くことをしない日が多い状態で正直、親の私や夫ですらイライラする態度を取ることもあります。
担任の先生は耐えて下さっていて、上手く乗せて課題をこなせる日も増えてきました。

昨日、息子と話をしていたら、算数のみの先生に
「書かないなら消えろ」と言われた。
と教えてくれました。
組分けをする日、担任の先生が席をはずしているときに、皆の前で言われた、と。
補助員の方が居るときかどうか確認がとれていないのですが、

問題は１ヶ月ほど前の出来事だということ。（授業内容から日付まで特定できます）
さらには、本人があまりショックやダメージを受けているようではないこと。
（「あっそ」と言って対応しスルーしたそうで何とも思っていないそうです）

ただ、息子は感情にラグがあり、負の感情は数ヶ月、数年経ってから自覚することが多いので注意深く見守りたいと思います。

昨日は念のため言っておこうかと思ったらしく、教えてくれました。
学校の事は自ら話すわけではなく、聞いたときだけ教えてくれます。
今回も違う話から、そういえば、と。

その先生が担当するグループの児童の話を息子から聞く限りでは、普段から乱暴な言葉を使う先生とのことですが、「消えろ」と言われたのは自分だけだ、と言います。
グループが違うので何とも言えませんが。

経緯を聞いて、夫は
「次があったら校長先生なり教育委員会なりに行動すれば良い」
と言います。そして息子に対処法を教え込もうとしています（証人を作っておく、など）。

私は、すぐにでも担任の先生や校長先生に報告するべき発言だと思っています。
そのグループの子の親御さんとも話ができる関係なので確認したいな、と考えていました。

その先生はPTAなどでお会いするときは、とても丁寧な対応をしてくださっていたのでビックリしています。
１ヶ月ほど前の出来事だとするとその後もお会いしていることになります。

皆様なら、この場合はどのように対応しますか？
どのように動くかまだわかりませんが、
参考にさせてください。
よろしくお願いします。

（タイムラインの受診の話は別件でのSOSで動き出したあとにこの話が出てきた状況です）