Atte Kilpeläisen viuluopinnot alkoivat Länsi-Uudenmaan musiikkiopistossa ja päättyivät tutkintoihin Kölnin musiikkikorkeakoulusta ja Sibelius-Akatemiasta, jossa Atte vuonna 2004 suoritti diplomitutkintonsa parhain mahdollisin arvosanoin.

Vuodesta 2005 alkaen Kilpeläinen on toiminut alttoviulun äänenjohtajana Helsingin kaupunginorkesterissa. Vierailevana äänenjohtajana hän on soittanut mm. Ruotsin radion sinfoniaorkesterissa, Australian kamariorkesterissa, Euroopan kamariorkesterissa ja Leipzigin Gewandhaus-orkesterissa. Solistina Atte on esiintynyt muun muassa Helsingin kaupunginorkesterin, Tapiola Sinfoniettan, Kölnin kamariorkesterin sekä Oulun ja Kuopion kaupunginorkestereiden kanssa.

Jousikvartetti Meta4:n jäsen Atte Kilpeläinen on ollut vuodesta 2006 konsertoiden kvartetin riveissä aktiivisesti kotimaassa ja ulkomailla. Meta4 toimi myös Jyväskylä Sinfonian päävierailija kaksivuotisella kaudella, joka päättyi keväällä 2024.  

Sibelius-Akatemian opettajakuntaan Atte Kilpeläinen liittyi vuonna 2012 ja on myös opettanut useasti suomalaisilla kesäkursseilla. Lisäksi Atte kuuluu Helsinki Seriös -kamarimusiikkisarjan taiteelliseen toimikuntaan.