あとはダウンサンプリング構造が効くのかなって思ってた(originalのsqueezeformerとよく使われるダウンサンプリングないバージョンとTransformerEncoderとか最終的に使ったモデル試した感じ)