Яков Исаакович Серебрянский родился 29 ноября 1892 года в г.Минске. Его отец был подмастерьем у часового мастера, а затем приказчиком на сахарозаводе.
В 1907 году, будучи учащимся городского училища, он вступил в молодежный эсеровский кружок, а спустя год, окончив училище, — в партию социалистов-революционеров.
В 1912 году был призван на действительную военную службу. В августе 1914 года был тяжело ранен и после длительного лечения в госпиталях демобилизован.
В феврале 1915 года Яков отправился в Баку, где устроился работать по своей основной специальности электромонтера на газовый завод, а затем и на знаменитые бакинские нефтепромыслы.
В период революций 1917 года являлся активистом эсеровского движения.
В мае 1920 года поступил на службу в центральный аппарат ВЧК. В октябре 1923 года, став кандидатом в члены ВКП(б), перешел на работу во внешнюю разведку и сразу же выехал на нелегальную работу в Палестину.
В 1925-1928 годах возглавлял нелегальные резидентуры в Бельгии и во Франции.
После возвращения в Москву в апреле 1929 года был назначен начальником подразделения нелегальной разведки. Одновременно руководил Особой группой при председателе ОГПУ.
В июле 1934 года возглавил Спецгруппу особого назначения при НКВД СССР.
В 1935-1936 годах находился в спецкомандировке в Китае и Японии.
В период гражданской войны в Испании, будучи на нелегальном положении во Франции, принимал активное участие в организации поставок оружия и военной техники Республиканскому правительству из европейских стран через подставные фирмы.
Летом 1938 года Серебрянский был отозван из Франции, арестован и 7 июля 1941 года осужден к высшей мере наказания "за шпионскую деятельность в пользу английский и французской разведок". Однако приговор не был приведен в исполнение. Уже шла Великая Отечественная война, и разведке были необходимы опытные кадры.
В августе 1941 года, благодаря ходатайству П. Судоплатова и вмешательству Л. Берии, Я. Серебрянский был амнистирован и восстановлен в органах и партии.
Во время войны он занимал руководящие посты в 4-м управлении НКВД-НКГБ СССР. Лично участвовал во многих разведывательных операциях. За период работы в органах госбезопасности полковник Серебрянский был награжден двумя орденами Ленина, двумя орденами Красного Знамени, многими медалями, а также двумя нагрудными знаками "Почетный чекист".
8 октября 1953 года он был вновь арестован, теперь уже как участник преступной деятельности Берии.
30 марта 1956 года скончался от сердечного приступа в помещении Бутырской тюрьмы на допросе у следователя военной прокуратуры СССР.
В мае 1971 года реабилитирован по всем статьям предъявлявшихся ему ранее обвинений, в ноябре 1989 года восстановлен в партии, а в апреле 1996 года — в правах на изъятые при аресте награды.