Родился в с. Пелым ныне Гаринского района Свердловской области в семье крестьянина. Детство и юность прошли в д. Турсунт Кондинского района. Занимался рыбным и охотничьим промыслом. В 1935 году занял первое место в соревновании охотников округа. В Красную Армию призван в 1942 году. В мае 1943 года окончил курсы младших командиров, зачислен в 729-й отдельный истребительно-противотанковый артиллерийский дивизион (16-й танковый корпус, 2-я танковая армия, Центральный фронт). 6 июля 1943 года сержант П.Я. Панов под селом Ольховатка на Орловско-Курском направлении уничтожил 11 вражеских танков, отразив все атаки противника. Сержанту П.Я. Панову 7 августа 1943 года присвоено звание Героя Советского Союза. После войны старшина П.Я. Панов учился в артиллерийском, затем в летном училищах. Жил в городе Тюмени. Работал в гражданской авиации, аэропорту «Рощино», затем на железной дороге. Награжден орденами Ленина, Отечественной войны 1 степени, медалями. В парке города Ханты-Мансийска установлен бюст П.Я. Панова - Героя Советского Союза.