Only because
This expression indicates that a specific reason caused an unfortunate situation.
Examples
彼が言ったことばかりに、みんな誤解した。
Everyone misunderstood only because of what he said.
お金がないばかりに、旅行に行けなかった。
I couldn’t go on a trip only because I had no money.
彼女が忙しいばかりに、私と会えません。
She can't meet me only because she is busy.
Quick check
彼が言ったこと___、みんな誤解した。