Kovaljov sündis 1930. aasta 2. märtsil praeguses Ukraina Sumõ oblastis raudteelase perre, vahendab väljaanne Vesma.

1932. aastal kolis perekond Moskva lähedale Podlipki asulasse. 1954. aastal lõpetas Kovaljov Moskva Riikliku Ülikooli bioloogiateaduskonna.

Kovaljov elas ja töötas Moskvas. Ta avaldas üle 60 teadustöö ja sai 1964. aastal kandidaadikraadi.

Aastatel 1964-1969 töötas Kovaljov Moskva Riiklikus Ülikoolis.

1966. aastal korraldas Kovaljov biofüüsika instituudis allkirjade kogumise pöördumisele Nõukogude Liidu ülemnõukogu presiidiumi poole Andrei Sinjavski ja Juli Danieli kaitseks, kes mõisteti süüdi nõukogudevastases propagandas oma teoste avaldamise eest välismaal.

1969. aastal vallandati Kovaljov töökohalt Moskva Riiklikus Ülikoolis.

Juba 1968. aastal oli temast saanud inimõiguste kaitse liikumise aktiivne osaline. 1969. aasta mais sai Kovaljovist inimõiguste kaitse Nõukogude Liidus algatusgrupi liige. Tegemist oli esimese sõltumatu ühiskondliku õiguskaitseorganisatsiooniga riigis.

1971. aastal oli Kovaljov üks juhtivaid tegelasi väljaande Hroniki Tekuštših Sobõtii (Päevasündmuste Kroonikad) juures. Tegemist oli trükimasinal trükitud inimõiguslaste bülletääniga.

28. detsembril 1974 Kovaljov vahistati nõukogudevastases agitatsioonis ja propagandas süüdistatuna.

1975. aasta detsembris mõistis Vilniuse kohus Kovaljovi seitsmeks aastaks vangi ja kolmeks aastaks asumisele. Karistust kandis ta range režiimiga koloonias Perm-36 ja Tšistopoli vanglas. Asumisele saadeti ta Magadani oblastisse.

Pärasi asumist elas Kovaljov Kalinini linnas (praegu Tver).

Moskvasse naasis Kovaljov 1987. aastal.

1989. aasta detsembris esitas Kovaljov Andrei Sahharovi soovitusel oma kandidatuuri ja ta valiti 1990. aasta märtsis Vene NFSV rahvasaadikuks.

Aastatel 1993-2003 oli Kovaljov Venemaa riigiduuma liige.

Aastatel 1993-1996 oli Kovaljov Venemaa presidendi inimõiguste komisjoni esimees.

1996. aasta jaanuaris teatas Kovaljov avalikus kirjas president Boriss Jeltsinile lahkumisest inimõiguste komisjoni esimehe kohalt ja presidendi nõukogust. Kirjas andis Kovaljov Jeltsini tegevusele väga negatiivse hinnangu, ütles, et Jeltsin on taganenud demokraatlike reformide poliitikast ja eelistab poliitiliste probleemide lahendamisel jõumeetodeid.

Aastatel 1994-1995 oli Kovaljov Venemaa esimene inimõiguste volinik. 1995. aastal tagandas riigiduuma Kovaljovi sellest ametist tema Tšetšeenia sõja vastaste avalduste pärast.