Народився 15 лютого 1900 року у Ризі або, згідно з власною автобіографією, поблизу Москви. Батько й мати рано померли, тому хлопець жебракував і жив безпритульним. Працював у корчмі, учнем годинникаря. Знайшов притулок у родині вчителя Доброхотова, який підготував його до здачі гімназичного курсу екстерном. Утім, під час Першої світової війни Доброхотова мобілізували до армії, і Ян знову став волоцюгою.
У 1917 році Ларрі дістався Петрограда, де намагався поступити до університету, проте невдало. Через друзів батька у 1918 році записався до Червоної армії. Втім, невдовзі захворів на тиф, відстав від свого батальйону та знову залишився безпритульним.
У 1923 році переїхав до Харкова, поступив до біологічного факультету Харківського інституту народної освіти, а також влаштувався на роботу до газети "Молодой ленинец". В цей період написав та 1926 року видав свої перші дві книжки: "Сумні та веселі історії про маленьких людей" та "Украдена країна" (українською) у видавництві "Книгоспілка".
У 1931 закінчив біологічний факультет Ленінградського державного університету.
У 1928—1931 роках видав низку книжок: "Вікно у майбутнє" (1929), "П'ять років" (1929, разом з Абрамом Лівшицом), "Як це було" (1930), "Записки конноармійця" (1931), "Країна щасливих" (1931). Радянська критика зустріла останній твір негативно: використовувалися такі епітети як "халтура", "наклеп на нашу політику, на лінію партії", "агітка класового ворога" тощо. Книжку заборонили та вилучили з обігу. Тоді Ларрі вирішив припинити літературну діяльність.
Він поступив до аспірантури Інституту рибного господарства під керівництвом професора Лева Берга.
До Берга звернувся письменник Самуїл Маршак з пропозицією написати науково-фантастичну книжку для дітей на біологічну тему. Берг переадресував запит своєму співробітнику Ларрі. Письменник швидко створив рукопис повісті "Незвичайні пригоди Карика і Валі", але редактори вимагали докорінної переробки, критикуючи задум та окремі розділи. Лише пряме втручання Маршака та його редакторська допомога дозволили книжці вийти у 1937 році.
У грудні 1940 року Ларрі написав анонімного листа Сталіну, до якого приклав першу главу свого роману-антиутопії "Небесний гість". У романі зображувався режим СРСР через 117 років після встановлення влади більшовиків очима марсіанина. Ларрі критикував сучасний йому стан справ: беззаконня, репресії, бідність, обмеження мистецтва. У листі він писав: "Ви ніколи не дізнаєтесь мого імені." Проте він устиг відіслати всього 7 глав роману — вже у квітні 1941 року НКВС викрило письменника, а 11 квітня він був заарештований. 5 липня суддівська колегія Ленінградського міського суду винесла вирок у 10 років таборів та 5 років спецпоселення.
У 1956 році реабілітований, повернувся до Ленінграда. Написав ще декілька дитячих книжок: "Записки школярки" (1961), "Дивна подорож Кука й Куккі" (1961), "Хоробрий Тіллі" (1970).
Помер 18 березня 1977, Ленінград, СРСР.