В 1738—1739 годах участвовал в русско-турецкой войне, проявив незаурядное мужество.
В начале 1740 года был назначен советником в Главную полицию. Спустя некоторое время занял пост генерал-полицмейстера и получил чин действительного статского советника. Назначенный при Анне Леопольдовне сенатором, он в 1741 году, при восшествии на престол Елизаветы Петровны, был лишен этого звания. Однако потом императрица сменила гнев на милость и Яков Петрович стал обер-прокурором Святейшего Синода, где сразу же принялся за искоренение злоупотреблений.
29 мая 1753 года Я. П. Шаховской назначается генерал-кригскомиссаром. 15 августа 1760 года Шаховской становится генерал-прокурором и одновременно конференц-министром.
25 декабря 1761 года император Петр III отправил Я. П. Шаховского в отставку, после дворцового переворота Екатерина II вновь призвала Я. П. Шаховского на службу, назначив его сенатором.
С 1766 года в отставке.
Оставил довольно подробные «Записки», впервые опубликованные в 1810 году.
ШЛЯХТА – здесь: нетитулованное дворянство.