Сын писателя, будущий скульптор Гинцбург еще в детстве, живя в Вильно, увлекся вырезанием из точильного камня различных предметов и фигурок. Первые работы мальчика увидел и по достоинству оценил М.М.Антокольский Антокольский Марк (Мордух) Матвеевич (Матысович) [1843—1902] Виднейший скульптор второй половины XIX века. За статую «» художник был удостоен звания академика. Член-корреспондент Парижской академии. Награждён орденом Почётного легиона. Почётный член многих западноевропейских…, приехавший в Вильно в 1870. С тех пор началась учеба Гинцбурга у известного скульптора, переросшая затем в творческое сотрудничество и дружбу, которая продолжалась до смерти М.М.Антокольского Антокольский Марк (Мордух) Матвеевич (Матысович) [1843—1902] Виднейший скульптор второй половины XIX века. За статую «» художник был удостоен звания академика. Член-корреспондент Парижской академии. Награждён орденом Почётного легиона. Почётный член многих западноевропейских… в 1902. В мастерской учителя в Петербурге и под его руководством Гинцбургом были исполнены орнаменты на троне статуи «Иван Грозный» М.М.Антокольского Антокольский Марк (Мордух) Матвеевич (Матысович) [1843—1902] Виднейший скульптор второй половины XIX века. За статую «» художник был удостоен звания академика. Член-корреспондент Парижской академии. Награждён орденом Почётного легиона. Почётный член многих западноевропейских…. Позднее Гинцбург выполнил бюст К. К. Гроота для памятника последнему по проекту М.М.Антокольского Антокольский Марк (Мордух) Матвеевич (Матысович) [1843—1902] Виднейший скульптор второй половины XIX века. За статую «» художник был удостоен звания академика. Член-корреспондент Парижской академии. Награждён орденом Почётного легиона. Почётный член многих западноевропейских… и ряд других работ. Облик учителя и друга был запечатлен уже зрелым скульптором в портретных статуэтках (например, «М. М. Антокольский у станка», 1897) и в бронзовом бюсте (1907). Гинцбург же стал автором надгробия Антокольскому (1909). Под значительным влиянием М.М.Антокольского Антокольский Марк (Мордух) Матвеевич (Матысович) [1843—1902] Виднейший скульптор второй половины XIX века. За статую «» художник был удостоен звания академика. Член-корреспондент Парижской академии. Награждён орденом Почётного легиона. Почётный член многих западноевропейских… сложился и творческий метод Гинцбурга, отличающийся точностью наблюдений, тщательностью трактовки деталей.
В 1878 Гинцбург принят на скульптурное отделение Петербургской АХ. В 1886 за программную работу — барельеф «Плач пророка Иеремии на развалинах Иерусалима» — он получил большую золотую медаль и звание классного художника 1-й степени. Работал скульптор в основном в пластике малых форм. Им выполнены многочисленные жанровые статуэтки на сюжеты из жизни детей: «Мальчик, собирающийся купаться» (1886), «Молодой музыкант» (1890), «На качелях» (1901).
Специфической формой малой пластики стал разработанный Гинцбургом особый вид портретных статуэток, изображающих деятелей культуры и искусства и передающих их образы в состоянии повседневной творческой деятельности. Таковы гипсовые и бронзовые статуэтки художников И. И. Шишкина, В. В. Верещагина (обе — 1892), И. Е. Репина (1897), В. И. Сурикова (1914), писателей Л. Н. Толстого (1891), М. Горького (1894), композитора и пианиста А. Г. Рубинштейна (1898) и др. Вообще, область портрета стала едва ли не основной в творчестве скульптора. Кроме портретных статуэток, Гинцбург выполняет многочисленные бюсты представителей художественной интеллигенции — И. Н. Крамского (1886, гипс; 1887, бронза), Д. В. Григоровича (1884), В. С. Соловьева (1900). Другой значительной сферой деятельности скульптора, принесшей ему известность, было создание художественных надгробий. В 1900—1910 им создан ряд надгробных памятников (например, В. В. Стасову, 1908).
Работал Гинцбург и в области монументальной скульптуры. Ему принадлежат памятники деятелям науки и культуры, в которых проявился неизменный интерес скульптора к портрету. Наиболее значительны из них памятник Н. В. Гоголю в Сорочинцах (1911), И. К. Айвазовскому в Феодосии (1915). В советское время Гинцбург участвовал в осуществлении плана монументальной пропаганды, выполнив известные портретные памятники Г. В. Плеханову (1921- 25) и Д. И. Менделееву (1930—1932) в Ленинграде, а также ряд скульптурных групп, посвященных революции (1926).
Занимался Гинцбург и преподавательской деятельностью: в 1918 был избран на должность профессора — руководителя скульптурной мастерской петроградских ГСХМ; в 1921—1923 был деканом скульптурного факультета Вхутемаса. Уроженец г. Гродно. Работал в мастерской М. М. Антокольского в С.-Петербурге (с 1870 г.). Учился в частном пансионе англичанина Гирса (с 1872 г.), затем перешел во 2-е Реальное училище, по окончании которого поступил в ИАХ, где учился (1878–1886) у А.Р.фон Бока, Н. А. Лаверецкого и И. И. Подорезова. Одновременно посещал РШОПХ. Получил большую золотую медаль (1886) и звание классного художника 1-й степени за программу «Плач пророка Иеремии на развалинах Иерусалима». Работал в станковой и монументальной скульптуре, в области малой пластики и портрета (1880–1890), в медальерной пластике (нач. ХХ в.). Удостоился звания академика (1911). Профессор-руководитель скульптурной мастерской ПГСХУМ (1918–1925). Декан скульптурного факультета (1921–1923). Работал преимущественно в малых формах скульптуры. Автор многочисленных жанровых и портретных статуэток. Выполнил ряд портретных бюстов современников – крупнейших русских художников, писателей, музыкантов, ученых, артистов и общественных деятелей.