Rychło zbliżał się czas terroru powszechnego.26 września 1936 roku, Józef Stalin, wypoczywający w Soczi przesłał telegram do członków biura politycznego WKPB, w którym pisał, że niezbędna jest nominacja Jeżowa na stanowisko Ludowego Komisarza Spraw Wewnętrznych. Jagoda ostatecznie dowiódł, że nie jest zdolny do zdemaskowania spisku trockistowsko-zinowojewskiego. OGPU od czterech lat bezskutecznie zajmował się tą sprawą – był to jednocześnie wyrok na Jagodę. W ten sposób Józef Stalin pozbywał się wiernego pomocnika, oczywiście, nie bez powodu. Przyczyn tego było kilka: w Moskwie zaczęto szeptać, że to OGPU, tajna policja zorganizowała zamach na Kirowa, dlatego Stalin, zwalniając szefa OGPU odcinał się od tej brudnej sprawy, ale to chyba nie była najważniejsza przyczyna. Jagoda, dotychczas wierny pomocnik Stalina, zaczął nagle hamować tę rozpędzoną machinę terroru i to w chwili, gdy Stalinowi potrzebny był bardzo sprawnie działający aparat terroru, aby podporządkować sobie cale społeczeństwo. To było bardzo sprytne, a zarazem niezwykle cwane przedsięwzięcie. Stalin dążył do zdobycia władzy absolutnej za wszelką cenę.Z powodu dążenia Stalina do władzy absolutnej, Jagoda musiał odejść. Była pewna grupa społeczna, która musiała zniknąć, tak, jak kułacy; byli to starzy bolszewicy, ci, którzy walczyli z caratem, przekonani, że potrafią dać społeczeństwu lepszą przyszłość, dostatek, wolność od samowładztwa, ci, którzy pamiętali Lenina i wierzyli w ideały komunizmu – oni nie zaakceptowaliby samowładztwa Stalina, dlatego musieli odejść. Dlatego, w chwili, gdy Stalin szykował się do totalnej rozprawy ze stary6mi bolszewikami, Jagoda zaczął mu w tym przeszkadzać. Stalin zdecydował się również zniszczyć najwyższych oficerów, dawnych bohaterów, obawiając się, że zaczną się buntować przeciwko niemu. On musiał mieć całkowitą władzę nad wojskiem i już w 1935 roku Jagoda zaczął dostarczać dowody, umożliwiające uwięzienie i zniszczenie wielu najwybitniejszych dowódców. Być może, w pewnym momencie zrozumiał do czego prowadzi wyniszczenie kadry dowódczej i odmówił dalszego współdziałania. 30 września Jagoda przekazał urząd swojemu następcy i sam przeniósł się na stanowisko komisarza poczty i telegrafów; pozostał na wolności. Zastanawiające jest, że Stalin nie kazał uwięzić i skazać Jagody.Było to możliwe do spełnienia, ale wymagało czasu – nic od razu. Stalin zamierzał przede wszystkim pozbyć się ludzi Jagody, a Jeżow bardzo sprawnie wykonał to zadanie, aresztując i likwidując najbliższych współpracowników Jagody. Poza tym trzeba było zebrać dowody, oczywiście sfałszowane, tak, aby Jagodzie można było wytoczyć proces. I rzeczywiście, już w marcu 1937 roku wszystko było gotowe; wówczas Jeżow stwierdził na zebraniu, że Jagoda był konfidentem carskiej policji, fałszerzem i malwersantem. Wkrótce wolność Jagody zakończyła się – aresztowany go. W czasie przesłuchania nie był poddawany torturom, być może dlatego, ze przyznawał się do wszystkiego, nawet do tak niedorzecznych zarzutów, jak to, że usiłował otruć swojego następcę, Jeżowa. Również, gdy zasiadł na lawie obok ludzi z tak zwanego bloku zinowiewowsko – trockistowskiego, do wszystkiego się przyznawał, a oskarżenia były ogromnie poważne, oskarżano ich, bowiem o zamordowanie Kujbyszewa, Kirowa, Gorkiego, Międzyńskiego. Jagoda załamał się tylko w jednym momencie – prosząc o litość przez mikrofon.