仕事中の仕事に関係の無い相談や話し合いを断ったら、臨機応変に対応出来ないとか相手の気持ちを考えてないって心理士さんやこの掲示板にあーだこーだ言われたんですが、なんで断っただけで文句言われないといけないんですか？

自分にも都合や話したくない気持ちがあるんですが、何で話したくないのに話さなければいけないんですか？

仕事なら気分関係なしにやらなきゃいけない義務がありますが、仕事に関係ない話は全て義務でもないですよね。自分の周りの職員だって、
話したくない時は話さないなど、選んでますよ？そう言う人には臨機応変に対応出来ないと言わず、発達障害の人だけ言うんでしょうか？

臨機応変とか相手の気持ちをとか綺麗事言っている人、見た目はカッコイイこと言ってますが、結局話したくない人の気持ちを無視しているのと同じだと思いますが？

何でそれが分からないのか不思議です。

あなたにはわからないかもしれませんが
一般的に「もう話したくありません」と話を終わらせて差し支えない場面は例え会話厳禁の場であっても滅多にありません。

ついでにいうと、仕事の休憩時間に相手と私的な会話で気まずくなって言い合いになるようなおしゃべりをする人も滅多にいません。
やってはいないことです。

ちょっとオーバーして会話するよりも、就業規則以前のエチケットやマナーのレベルの話で、圧倒的にまずいと思います。

こういうときどんなに「なんだとぉー💢」と思っても、当たり障りなく、ははは。とか、そうなんですねー。とか返答し、ぼちぼち休憩おしまいですね。戻りますね。と終わらせるのがベター。

相手が烈火のごとく怒っていても、その場はおさめ、嫌な思いさせたのなら謝ります。
ごめんなさい。あいにく休憩終わりだから、またゆっくりお詫びさせて。などとおさめてしまいます。

それを
「休憩終わりました」「仕事です」「私はもう話をしたくない」と言ったり、そういうスタンスで断ったのであれば、かなり強い拒絶反応になり、よくない対応。

一般的にはそのような会話の遮断は滅多にせず、したとしても、よくやってくる超絶クレーマーに、先に時間をお示しして「スミマセン。時間になりましたので」と断る程度です。

話をしたくないというあなたの気持ちの自由と、このままでは終わらせられないという相手の気持ちの自由はどこまでも対等です。

休憩が終わったのだから話はまたあとで。という正論を伝えるにしても、言葉を選び丁重にする必要があります。

周りにそれだけ指示されてないということは、主さんはそれだけ、ありとあらゆることで「やらかして」いるものと思います。

無論、休憩時間は守らねばなりませんが、だとしてもそこを曖昧にしたとしても、謝罪したり話を丸くおさめたり、対応すべきようなケースは多々あります。

タイムオーバーになったのはお互いの落ち度と思います。

状況がわからない部分もありますが、
私は悪くないのに。とばかり表現されてますが、あなたに一切落ち度がないとは私は思いません。

少なくとも、同僚と休憩時間に私的なトークで言い合いになるなど学生のバイトじゃあるまいし、学生としてもダメ。