В июне 1796 года Воронцов упоминает что его 14-летний сын Михаил ходил в город 3 раза в неделю на уроки геометрии и алгебры. Он изучил первые шесть книг Эвклида («Начала») по плоской геометрии и теории чисел, написанные этим знаменитым греком ещё до нашего века, и начинал осваивать тригонометрию. Миша не считал алгебру скучным предметом «он зачарован и относится к ней с удивительным удовольствием, его учитель, который является одним из самых искусных математиков, очарован им и говорит, что у него нет лучшего школьника». В эти же года Прохор Суворов и Василий Никитин в Санкт-Петербурге перевели с греческого «Начала» и отпечатали учебники в типографии «Морского шляхетного Кадетского корпуса». К слову, пост директора Петербургской Академии наук до того времени занимала Мишина родная тётка Екатерина Романовна Дашкова (в девичестве Воронцова). Именно она ввела в русский язык печатную букву «ё».

В ноябре этого года умирает Екатерина Великая и на престол взошёл 42-летний Император Павел Петрович. На следующий год весной состоялась его совместная коронация вместе с супругой Марией Фёдоровной. Отец Миши, Семён Романович в письме к брату выражает «полное сочувствие начинаниям нового Государя». Он так же написал поздравительное письмо новому Императору, в котором, в частности, писал «Ваше Императорское Величество, в 32 милионах ваших подданных, имеете миллионы таких, кои отличнее меня Вам служат; но верьте, всенижайше прошу, что никто из них служить Вам усерднее моего не может»⁸.

Граф Семён Романович Воронцов несмотря на плохое здоровье принимает предложение от Павла I продолжить службу «хоть и недостаёт сил для службы нашему доброму Государю… я теперь не что иное как плохой выжатый лимон… но всё равно знаниями этой страны могу принести некоторую долю пользы моему Государю». В первые дни правления Императора Павла по настоятельной просьбе графа Александра Андреевича Безбородко Воронцову был пожалован чин генерала от инфантерии, с повышением в звание «черезвычайноаго и полномочнаго посла в Лондоне».

В марте 1797 года Семён Воронцов в очередном письме Императору, в котором, в частности, говорилось о сыне Мише: «…приближающая старость понуждает меня помышлять о жребии детей моих… о сыне моём я не безпокоюсь; ибо, неусыпно стараясь приготовить его, да бы был способен на службу В.И.В-ва и обретая в нем горячее усердие к сему важному и счастливому предмету, если не доживу до того времени, когда возраст его дозволит ему иметь счастие служить Вам… но дочь моя, которой уже течёт 14 год, останется на руках дяди… Успокойте, всемилостивейший Государь, бедного отца, страждущаго о будущем жребии своей дочери. Осчастливьте их обоих, пристроя сию сироту под покров Ея И.В-ва Вашей любезной, добродетельной и толь Вас достойной супруги. Простите мне моё дерзновение и извините оное, всемилостивейшие Государь, теми чувствами, кои всякий чадолюбивой и нежной отец ощущает всегда во своём сердце»⁹.

За былые заслуги перед Отечеством в апреле Семён Романович Воронцов стал кавалером ордена «Святого Андрея Первозванного». Дочь Катенька, которой 13 лет получила звание фрейлины при дворе императрицы Марии Фёдоровны. Он на своём посту после четырнадцатилетней службы наконец дождался «великих и богатых милостей». Миша был очень рад за своего отца и сестру, которая начала получать жалование в 1000 рублей и другие причитающие выплаты. Не всё хорошее может продолжаться долго. В августе приходит печальная весть из Санкт-Петербурга, где после болезни умер тесть Семён Романовича и дед Миши и Катерины адмирал Алексей Наумович Синявин. Об этом они узнали лишь спустя две недели. Вместе с отцом и сестрой они пришли в церковь при посольстве расположенной на Грейт-Портленд-стрит, заказали молитву и поставили свечки «за упокой». Служил в ней настоятель, протоиерей Иаков Иванович Смирнов, который с детства обучал Мишу и Катю основам религии.

Эскадру контр-адмирала Михаила Макарова Император Павел Петрович срочно приказал возвратить от берегов Великобритании в Финский залив. Как раз в то время в английском флоте начались матросские бунты и лишь 2 корабля остались боеспособные в блокаде флота противника у берегов Батавской республики. Восставшие так же держали в осаде Лондонский порт. Правительство не знало, что делать и тут лорд Уильям Гренвиль бросился к Семён Романовичу с мольбой отсрочить отправку русских кораблей. Граф Воронцов пошел на встречу англичанам и боясь не исполнить приказ Императора Павла на свой риск задержал на 3 недели отправку эскадры Макарова. Наши корабли позже вышли в море, затем прибыли к голландскому острову, встали на якоря и блокировали голландский флот. Оказанием поддержки английскому правительству при приведении к повиновению взбунтовавшегося флота адмирал Макаров заслужил искреннюю признательность короля Георга III. Он в самых сердечных выражениях благодарил Императора Павла за спасение Англии в момент величайшей опасности, а адмиралу Михаилу Кондратьевичу пожаловал осыпанную бриллиантами шпагу с надписью «Тексель. Июня 12.1797 г». Похвальное письмо пришло к Императору Павлу в августе, и он дал команду генерал-адьютанту Григорию Кушелеву всех участников поощрить и «внести в их аттестаты» этот поход. Сам Воронцов получил орден «Св. Анны» 1 степени, а настоятель церкви Яков Смирнов такой же орден, но 2 степени. Священник помимо своей основной работы, помогал Воронцову в добывании различных сведений, например о закупки поляками оружия на территории Англии и отправки его в российские порты. Сын Михаил Воронцов, бывая в городе видел с берега те русские корабли и бунты английских моряков. Он, конечно, был на стороне короля и королевы так как иногда они приглашали его на светские мероприятия. Там он проявлял внимание к младшей принцессе Амелии (Amelia Sophia Eleanorа), которая так же уделяла ему внимание.

На следующий 1798 год 16-летний Михаил Воронцов через посредство графа Александра Безбородко был пожалован званием «камергер» двора Его Императорского величества минуя звание камер-юнкера. Ему дозволялось жить при посольстве и находиться в службе при канцелярии. Миша, готовясь к будущей карьере, почти каждодневно занимался верховой ездой, иногда ходил с моряками в море на яхте и по утрам всегда делал зарядку с гантелями. Осенью этого года Император Павел предлагает Воронцову занять в столице место вице-канцлера вместо князя Александра Борисовича Куракина. Семён Романович не желает уезжать из Англии. Воронцов в ответном письме жалуется на здоровье и благодарит Павла за внимание к сыну: «…он счастливее меня, что долее моего будет служить толь милостивому и великодушному Государю. Да будут и сыновья сего сына служить Вашему Императорскому Величеству!». Пока наш посол отказывался место вице-канцлера в Санкт-Петербурге досталось Виктору Кочубею.

Весной следующего года через фельдъегерскую службу пришёл приказ «возвращаться в Россию». Хитрый Воронцов в письме к Императору просит отсрочку до конца мая, так как его дочери Катеньке предписано докторами по причине здоровья «ехать к морю и купаться в морской воде шесть недель сряду… сие единое её подкрепляет; а мне её одну здесь оставить неможно, взирая не ея малолетство и слабость ея сложения». Он просит на время поездки в Россию на его место в Англии никого не назначать, так как боится, что климат российский не пойдёт в прок его здоровью «чахотка меня мучить будет». Отказ от должности никак не повлиял на отношение к нему Павла. Император, став магистром Мальтийского ордена наградил Воронцова большим крестом «Св. Иоанна Иерусалимского». Именно Семён Воронцов рекомендовал принять на службу капитана Роберта Кроуна, который на купленном куттере «Меркурий» совершил переход в Балтийское море. Там он на новом корабле вступил в бой со шведским бригом «Снапоп» и взял его на абордаж, а после дрался с 44-пушечным фрегатом «Венус» и так же захватил его. Семён Романович про него писал графу Безбородко: «сей после господина Тревенена есть наилучший офицер из тех, кои вошли в нашу службу, и я их обоих поручаю в милость вашу». Затем после смерти князя Александра Безбородко Государь решил отдать должность канцлера Семён Романовичу, но тот опять всячески уклонялся. Он знал, что с этой должности недолго угодить в Сибирь или в тюрьму и не хотел ехать в Россию.

В начале 1800 года Воронцов получил письмо от Растопчина в котором тот сообщает что Император им не доволен, разрешает покинуть службу и написать рапорт об отставки. Семён Романович просит Павла Петровича оставить его в Англии по причине слабого здоровья дочери, которое в последние года сильно испортилось. Император приказом уволил от службы Воронцова «употреблить сие время на поправление вашего здоровья и отправиться к водам» и разрешил носить мундир. В это же время произошла высылка Английского посла Витворта из России и все дела шли к окончательному разрыву отношений и объявлению войны. Отзывной грамоты посла из Санкт-Петербурга не приходило. Воронцов был в странном неопределённом положении и решил уехать из столицы в небольшое местечко Саутгемптон. Вот как он писал своему брату Александру: «…Катенька моя начала купаться в море. Погода всё ещё стоит великолепная. Мы встаём (конечно и с Мишей) очень рано, завтракаем в 9 часов, прежде чего я успеваю ещё вдоволь погулять… я обрил себе голову спереди, где почти не было волос. После завтрака мы (Катя и Миша-А.В.) гуляем до полудня, а там занимаемся, каждый своим делом. По вечерам мы занимаемся чтением, немножко музыцируем, иногда съиграем партию в карты, и часов в 11, либо ровно в 12, расходимся по своим углам. Хозяин нашей квартиры-книгопродавец; поэтому, за 15 шиллингов в месяц, каждый из нас (а особенно Миша) может брать у него сколько угодно книг для чтения, а из них есть очень хорошия, Английския и Французския. Для общаго чтения вслух в нашем маленьком кружку, мы вибираем, большею частию, что-нибудь полегче и повеселее, а вещи серьёзныя читаем каждый у себя, уединённо, в промежутки между прогулкою и обедом… я и думать забыл о политике, что так долго не давало мне покоя, и даже отказался от получения Лондонских газет, кроме небольшаго каждодневнаго английского листка, который Мишель и Катенька прочитывают мне за завтраком»¹⁰.

Семён Романович, которому 57 лет ни капельки не жалел по поводу своей отставки от службы. Он отпустил 7 человек прислуги и радовался тихой сельской жизни на южном берегу Англии.

Из письма С. Р. Воронцова к брату Александру.

Родному брату он говорил, что у него не было долгов если бы не государственные обстоятельства «не будь здесь наших эскадр, которые около 5 лет на моих руках, да ещё этого корпуса наших войск». Откуда можно сделать вывод, что Воронцов будучи послом часто выручал наших моряков денежными средствами и различными покупками для нужд флота.

В начале 1801 года Воронцов видя, что скоро начнётся война думает перебраться через Францию и Германию в городок Бад-Пирмонт в Нижней Саксонии. Для этого он обратился за французским паспортом к специальному посланнику императора Степану Алексеевичу Колычеву, который контактировал с Наполеоном. В это же время Император Павел решившийся разорвать отношения с Англией и её банкирами конфисковывает у Воронцова деньги «недоплаченныя банкирами казне принадлежащия деньги 499 фунтов,14 шилингов и 5 пенсов, конфисковать с имения генерала графа Воронцова». Но внезапно всё изменилось в марте произошёл государственный переворот. Павел был задушен в своей спальне и на престол вступил Александр I. Секвестр был отменён новым государем и Воронцов оставлялся в Англии. Понимая, что политическое напряжение немного спало Семён Романович отправляет своего 19-летнего сына Михаила в Россию в первых числах мая под опеку его дяди Александра Романовича Воронцова. Он прибыл в Санкт-Петербург на корабле с английским послом лордом Аллейном Сент-Хеленсом.