В 1938 году его отправляют в лагерь. Дали 10 лет, по истечении срока - колонию-поселение. В лагере нормально устроился – создал и возглавил оркестр из зеков, за что получил кличку «Евсей-музыкант». На поселении был лектором.
Когда вышел бериевский Указ «Об амнистии», Ширвиндту прямо по выходу из колонии дали звание полковника МВД (в поезде в Москву ехал уже в форме). По приезду в Москву вручили партбилет и вместе с постановлением о полной реабилитации - денежную компенсацию за лагерные годы в размере 2-х годовых заработков полковника. Возвратили 3-комнатную квартиру в центре Москвы. Через некоторое время бывший чекист, прокурор и зек возглавил Комиссию по осуществлению амнистий и реабилитаций, а также в 1957-м написал бодрую книжку «К 40-летию исправительно-трудовой политики Советского государства». Да, кстати, Евсей Ширвиндт - родной дядя актёра Александра Ширвиндта.