हरिहरन यांनी आपल्या करिअरची सुरुवात कॉन्सर्ट सर्किट आणि टीव्हीमध्ये केली. अनेक टीव्ही शोसाठी त्यांनी आवाज दिला आहे. १९७७ मध्ये, हरिहरन यांनी अखिल भारतीय सूर शृंगार स्पर्धा जिंकली, त्यानंतर त्यांना संगीत दिग्दर्शक जयदेव यांनी पहिली संधी दिली.
हरिहरन यांनी १९९२ मध्ये तमिळ चित्रपटसृष्टीत प्रवेश केला. यादरम्यान त्यांनी बॉलिवूडचे सर्वोत्कृष्ट संगीत दिग्दर्शक एआर रहमान यांच्यासोबत काम करण्यास सुरुवात केली. रोजा चित्रपटातील रोजा जानेमन हे गाणे त्यांनी गायले होते. हे गाणे आजही सुपरहिट आहे. या गाण्यासाठी त्यांना तामिळनाडू राज्य सरकारचा सर्वोत्कृष्ट पार्श्वगायकाचा पुरस्कार मिळाला. ओरैया ओरैया हे गाणे गायले आहे, या गाण्याचे संगीत दिग्दर्शक देखील ए आर रहमान होते.
त्यांनी ए.आर. रहमानसोबत अनेक गाण्यांवर काम केले आहे, ज्यात मुथू, मिनसारा कनौ, जीन्स, इंडिया, ताल, रंगीला, गुरु, शिवाज या गाण्यांचा समावेश आहे. गायकाने तमिळ, तेलगू, मल्याळम, कन्नड, हिंदी, बंगाली, ओरिया इत्यादी भाषांमध्ये १०० हून अधिक गाणी गायली आहेत.
गाण्यांव्यतिरिक्त, हरिहरन यांनी अनेक गझल देखील गायल्या आहेत, ज्यापैकी त्यांचा पहिला गझल अल्बम अबसर ए गझल होता, जो त्यांनी आशा भोसले यांच्यासोबत गायला होता. ही गझल सुपरहिट झाली, लोकांना ती खूप आवडली. या गझलेनंतर त्यांनी गुलफाम, हाजीर, हलका नशा, पैगम, काश, लाहोर के रंग हरी के संग अशा अनेक गझल गायल्या आहेत.
हरिहरन हा असाच एक कलाकार आहे ज्यांनी आपल्या कामाच्या जोरावर ओळख मिळवली आहे. एका मुलाखतीदरम्यान त्यांनी गान कोकिला म्हणजेच लता मंगेशकर यांच्याबद्दल एक किस्सा सांगितला. त्यांनी सांगितले की त्याचा पूर्व बंगालमध्ये पहिला स्टेज शो होता, त्या दरम्यान त्यांनी ये रात भीगी भीगी हे गाणे गायले होते. स्टेजवर जाण्यापूर्वीच त्याला खूप उंच आणि प्रेक्षकांच्या दिशेने पाहू नका असे सांगण्यात आले होते.
मात्र, त्यांनी नेमके उलटे केले. वास्तविक, सिंगरने सांगितले की पहिला मुखडा पूर्ण झाल्यानंतर लताजींनी त्यांना हावभावात सांगितले की त्यांनी खूप चांगले काम केले आहे. तथापि, संगीत पुढे वाजताच, हरिहरन यांनी गुप्तपणे वर पाहिले. त्या काळात तिथल्या प्रेक्षकांची संख्या लाखोंच्या घरात होती, त्यामुळे त्यांचे सर्व लक्ष गाण्यापासून विचलित झाले होते. मध्येच त्यांनी चूक केली. मात्र, ही गोष्ट तिथे बसलेल्या संगीत रसिकांच्याच लक्षात आली.