職場の飲み会のことでなんだか思い悩む気持ちが強くなったので質問します。

先週あたり職場の送別会があったので、何も都合が悪くないのに参加しないのもと思って参加したのですが、くじで決まった席について、２、３時間ほど飲食したのですが、テーブル席で向かいの席の方と会話にすごく苦労して、途中から話すこともなくなって、そのうち向かいの方は別のテーブルに移って行ったのですが、周りの方も気を使ってくださるのか話しかけてはくれるし、自分も努力して会話を作ろうとするんですが、どうしても話を聞きながら次に話すことなり別のことを考えてしまって、きちんと話を理解できてなかったり、変な答えを返したりして、すぐ会話が途切れてしまい、自分の周りの席がしーんとしてしまうので、なんだか参加して申し訳ない気持ちになってしまいます(体調が少し悪いと言って１次会で帰ったんですが）周りの方がどう思われるのかは色々あるだろうからよくわかりませんが、別にこんな感じなら飲み会は今後全て断って参加しないのもありなのかなぁと思ったりもします。最近飲み会のたびにこんな気持ちになっている気がします。
周りの方が自分にかまわず、あるいはとりあえず自分は話を聞いている風で参加してるみたいな感じで、わいわい盛り上がってもらえるのが一番いいんですが、今の職場は年配の方もいらっしゃって落ち着いてる感じで、申し訳なく思う頻度が高く、今後どうしようかなって思ってます。

もう４０歳過ぎているので、今さら場数を踏んだら改善するとも思えないし、来ない方がありがたいと思われているのなら行かない方がいいのかなって思います。(ただ、はっきり言って自分がどう思われてるのか、よくわかりません)

子育て中の女性の方など、ほとんど参加しない方もいらっしゃるし、参加しなかったら変に思われる、というのもそこまでないような気がするので(思われるかもしれません。正直そういう空気は全く読めないし、わかりません)、今の気持ちが変わるか、参加しないことで何か問題が出てくるまで飲み会に参加しないというのはありだと思いますか？

なんだか質問にもなっていないような気もしてきたんですが、こういう悩み持っておられたり、自分はこう思う、っていうご意見をいただけたら、少し悩みも晴れるかなぁって思って質問してみました。どう思われるか、もしよろしかったら聞かせていただけたら嬉しいです。よろしくお願いします。