旦那地元の行事に子どもを参加させたくない

こんにちは。
結婚4年目で、来年、第一子が誕生予定です。

車で2時間程離れた旦那の地元では年に2回、地元の祭りがあり
今は旦那のみ参加しています。
旦那自体は家事も積極的に参加してくれ、何も不満はないのですが
旦那の地元は昔ながらの男尊女卑的な考え方が強い地域です。

祭りにも1度顔を出した事がありますが、初対面の人から
子どもはまだなの？と聞かれて嫌な思いをしたり、
その祭りの世話役として女性(祭りに参加している男性の奥さん方)が
お酒や昼食の準備をしたり、打ち上げの手配(集会場で開催。祭りに参加している約30人分の料理を手作り)までやっており、違う時代にタイムスリップしてきたのかと驚きました。
上記の事から、この祭り自体に良いイメージが全く無く、1度顔を出しただけで後は行っていませんでした。

ただ、来年子どもが生まれるにあたり、旦那も旦那実家も子どもを祭りに参加させる気マンマンです。
旦那からも、「本当は結婚しているのに1人だけで行くのは周りに色々言われて嫌だった。」「子どもと一緒に参加している人が羨ましいから絶対に一緒に参加したい」と言われました。
私としては、旦那だけ参加する分には良いですが、子どもまで参加させたくありません。
旦那や子どもは楽しいでしょうが、準備や手伝い、裏方の仕事は全て女性に回って来るのが嫌です。
また、子どもまで参加させるとなると、恐らく私も行かざるをえない状況になります。
折角の土日を知らない人たちのお世話に使いたくありません。それを旦那に伝えると「年に2回の事なのにそんな事も我慢してくれないの？！」と心底びっくりされました。

また、祭りは毎年2回同じ時期にあり、1回目は旦那の誕生日付近、2回目は生まれる子どもの誕生日付近なので、ゆっくり家族の誕生日を祝えない所も不満です。
(毎年祭りの2～3週間前から練習の為、ちょこちょこ地元に帰っています)
祭りの参加者は年々人が少なくなっているみたいなので、近い未来無くなるかもしれないなと思っています。

ただ、普段から言い合いになる事は少なく、お互い助け合って過ごしてきた旦那からそんな反応をされると、私の心が凄く狭いのではないかと思ってきてしまい、私が折れるべきなのかと思い始めています。
客観的に見てどうか、ご意見を聞きたいです。