新国立競技場の問題で、責任者が誰かも説明できない時点で、あるいは私が責任者ですから、私が辞職しますとか誰もいわない時点でおかしいと思う。

オリンピックだけの組織をみると、やはり役員に責任があるだろう。そして会長だな。
http://www.kojitusanso.jp/shop/hokuriku_toukai/maleragifu/

オリンピックだけをみれば、決定を覆すのは会長以下役員にしかできないので、会長が覆したものを総理大臣が国内、世界に向けて説明したと理解するのがいいだろう。ただ、国立競技場は、オリンピックだけの施設ではないので、独立行政法人日本スポーツ振興センターの理事長だな。
http://www.jpnsport.go.jp/corp/gaiyou/tabid/58/Default.aspx

ここに責任があるだろう、ここに責任をとらせることができないなら、このセンターの理事長を決めるのは文部科学大臣が任命するので、文部科学大臣が責任をとるのが妥当。ここに責任をとらせることができないのであれば、あとは総理大臣だけだ。
http://www.jpnsport.go.jp/corp/koukai/tabid/67/Default.aspx