Fadern var kustroddare, senare sjökapten, Carl Fredrik Svanberg (1819-1901) och mor Maria Rosenlund (1824-1904).
Som 9-åring togs Carl Olof Svanberg ur skolan för att följa med fadern som kock och sjöman. Efter olika äventyr bland annat i Sydamerika kom Swanberg till San Francisco 1870 där han fick anställning som ostronfiskare, en stor affärsverksamhet vid den här tiden. Några år senare anlade han egna ostronbankar och blev delägare i det dominerande företaget Morgan Oyster Company.
C.O. Swanberg började nu bygga upp en egen betydande förmögenhet. 1891 grundade han Merchants Ice & Cold Storage Company och blev intressent i ett antal företag inom livsmedelssektorn. Nästa stora företagsköp kom 1909 då Swanberg blev ägare till stadens största restaurang, Portola-Louvre Café. Där uppträdde kända artister och han var en av de första restaurangägarna på västkusten som anlitade en svart orkester.
1887 köpte Swanberg Svartingstorp nära Kalmar, året efter Wirum i norra Kalmar län och slutligen 1896 Ängeltofta gods utanför Ängelholm. Till sina gårdar importerade han jerseykor direkt från ön Jersey. Han ville skapa mönsterjordbruk som skulle bli förebilder i landet. Men hans ekonomi försvagades omkring 1920 och han fick avveckla Portola Café och sälja gårdarna i Sverige.
Han reste från Amerika till Svartingstorp en sista gång ensam drygt 90 år gammal där han dog. Han är begravd på Åby kyrkogård tillsammans med sina barn.
Swanberg gifte sig 1873 med Ione Wirt och de fick barnen Linda och Fredrik. Efter hennes död gifte han om sig med Julie Schoenmakers 1879 och de fick dottern Louise.
