Frejs moderklubb är FC Djursholm. Efter spel med Enskede IK i division 1 norra 2017, IFK Stocksund i division 2 norra Svealand 2018–2019 och IF Sylvia i Ettan norra 2020 kom han 2021 till IF Brommapojkarna, som då låg i Ettan norra. Han var med om att spela upp klubben till Superettan 2022, och därefter till Allsvenskan 2023.[1]
Efter säsongen 2022 släppte Brommapojkarna Frej, och den 14 februari 2023 meddelades att han hade skrivit på för Göteborgsklubben Gais.[2] Även med Gais var han med om en uppflyttning, då klubben slutade tvåa i Superettan 2023 och därmed gick upp i Allsvenskan 2024. Under säsongen roterade Gais tränare Fredrik Holmberg något okonventionellt mellan sina fyra mittbackar – förutom Frej även Axel Norén, Anes Cardaklija och Filip Beckman – där de två som var i bäst form eller fungerade bäst ihop för tillfället bildade mittbackspar.[3] Frej, som under säsongen även spelade ytterback, spelade 2023 sammanlagt 27 Superettanmatcher och gjorde 2 mål.[1]