Ксенофонт Желтовский родился 26 января 1891 года в деревне Желтовской Тобольского уезда Тобольской губернии в крестьянской семье. У родителей было семеро детей. В 1896 году в поисках лучшей доли Желтовские перебрались в Тобольск. Глава семьи Георгий Степанович устроился на рыбный промысел, а мать вела домашнее хозяйство и воспитывала детей.
В 1900 году, несмотря на скромный доход, родители отдали своего четвёртого сына Ксенофонта в церковно-приходскую школу. Проучившись четыре года и показав неплохие результаты, парень вынужден был стать разносчиком газеты «Сибирский листок». А в 1905 году устроился на консервную фабрику купца Плотникова.
В 1914 году грянула война. Ксенофонт Желтовский был зачислен ратником ополчения первой очереди. Его призывают на военную службу и направляют в 601-ю Тобольскую дружину, а в январе 1915 года — на фронт в действующую армию. Затем болезнь, лечение в госпитале, а дальше — служба в 19-м запасном Омском полку. В 1916 году в звании унтер-офицера Желтовский вновь прибывает на Юго-Западный фронт. Через год получает серьёзное ранение в ногу. После поправки в госпитале врачи признают его непригодным к воинской службе, и он демобилизуется из армии. В сентябре 1917 года полный кавалер солдатского ордена — Георгиевский крест Ксенофонт Желтовский возвратился на родину.

 
В Тобольске Желтовский вновь устроился на консервную фабрику купца Плотникова. В марте 1918-го в Тобольске он записался в красногвардейский отряд из Екатеринбурга под командованием бывшего балтийского моряка Павла Хохрякова. Весь март и половину апреля 1918 года участвовал в охране арестованного царя Николая II. Бывший подданный Его Императорского Величества старший унтер-офицер Желтовский стоял на «часах» у ворот губернаторского дома в Тобольске. Ксенофонт служил теперь молодой Советской республике.
В биографии Желтовского есть события, которые он не любил вспоминать. Так, в феврале-марте 1919 года шла массовая мобилизация новобранцев в колчаковскую армию. Забирали рекрутов из деревень и городов, свозили их в сборный пункт в Тюмени. Желтовского тоже мобилизовали в колчаковскую армию. Но на пути в Омск ему и нескольким товарищам удалось бежать. Это было сказочным везением, ведь после восстания новобранцев в Тюмени в марте 1919 года патрули колчаковских войск догоняли беглецов по всем сибирским трактам и расстреливали..
В сентябре 1919 года Тобольск был освобождён от белогвардейских войск. В этом же году Желтовский вступает в члены ВКП(б), как он сам пишет в автобиографии. Этот год и последующие занимает высокие должности в губернском коммунальном хозяйстве.
Его хорошие организаторские способности и деловитость вовремя заметили представители власти на местах и рекомендовали в органы милиции, которой практически не существовало в Тюменской губернии. 1 июля 1920 года Ксенофонта Желтовского утверждают в должности начальника тюменской губернской милиции. Он получает мандат, выданный местными органами власти, дающий право занять этот высокий милицейский пост.

 
Это был тяжёлый и ответственный период его жизни. О назначении на ответственную должность руководителя силовой структуры региона Ксенофонт Георгиевич говорил: «На территории губернии установилась советская власть. А раз власть, значит, нужна и охрана. На заседании ревкома обсуждался вопрос, кому поручить возглавить это хозяйство. Червонный, председатель ревкома, указал пальцем на меня, остальные тоже повернулись в мою сторону, посмотрели… Голоснули единогласно, утвердили начальником управления губернской милиции. Свершилось. А шёл мне в то время 26-й годок. Вышел я на крыльцо после заседания и соображаю: «Что мне делать? С чего начать?».
Много сил и времени потребовалось Желтовскому, чтобы навести порядок в собственных рядах. Ксенофонт Георгиевич не считался с личным временем, он подбирал и готовил кадры рядового и младшего начальствующего состава, организовал первые школы грамоты для милиционеров, проводил учебные занятия и стрельбы для личного состава. Пытался решать вопросы обустройства новых отделов милиции в уездах губернии, а также по мере возможности решал и вопросы снабжения формой, оружием и продуктовым довольствием сотрудников милиции.
Во время выполнения обязанностей начальника тюменской милиции Ксенофонт Георгиевич являлся одновременно командиром тюменского ЧОНа. Это части особого назначения для выполнения боевых задач внутри государства.
С 1921 по 1923 годы происходили массовые беспорядки, вызванные голодом на территории губернии. Протесты исходили от кулаков и зажиточных крестьян. Они громили здания, занятые советской властью, а милиция стояла на страже общественного порядка. Желтовский докладывал в Москву, что беспорядки прекращены. Но при этом погибло 40% личного состава милиции: из 1600 сотрудников — 500 человек, со стороны же крестьян — 5000 человек.
Это время оставило глубокую рану в сердце начальника Тюменской губернской милиции, когда формированиям милицейских подразделений приходилось защищать отряды, проводившие продовольственную развёрстку.
Описывая один из боев в районе деревни Покровка, Желтовский вспоминает: «Задача у бандитов была — захватить тракт Тобольск — Тюмень, перерезать его. Дождались утра. Приводят ко мне двоих бандитских разведчиков. Под утро началось их наступление. Едут на лошадях, идут пешком, все ближе-ближе… Началась не война, а убийство. Наши испугались, сразу разбежались. И тулупы побросали, и шинели. Вот так и кончилось всё. У нас было человек 25 бойцов, а у бандитов — толпа».
21 октября 1922 года в Тюмени состоялось общее собрание работников губернской милиции, на котором присутствовало 72 делегата со всех уездов. Собрание проводилось по случаю перевода местным комитетом партии ВКП(б) коммуниста Желтовского на советскую работу. Вот несколько строк из постановления собрания: «Мы, работники милиции Тюменской губернии, сожалеем о вашем уходе как о лучшем руководителе милиции, положившем много труда и энергии в организации аппарата нашего ведомства. Ваш авторитет как начальника и как человека среди нас, работников милиции, стоит высоко. Вы всегда были человеком честным и энергичным, поэтому требовали этого же от подчинённых вам товарищей…».
  
С ноября 1922 года и все последующие годы до выхода на пенсию Желтовскому приходилось занимать управленческие посты в советских и хозяйственных органах Тобольска, Свердловска, Омска и Тюмени.
По состоянию здоровья коммунист Ксенофонт Желтовский на фронт во время Великой Отечественной войны не призывался, но всегда находился на боевом посту. Осенью 1941 года Омский обком партии назначает Желтовского заместителем управляющего в систему «Заготживсырья». Между прочим, он на то время характеризуется в партийных органах как один из лучших знатоков охотничьего промысла всего Зауралья. С ноября 1943-го по сентябрь 1945 года Желтовский возглавляет райисполком Одесского района Омской области. С мая 1948 года занимает различные высокие хозяйственные посты многих учреждений уже в Тюменской области.
В июле 1952 года Тюменский обком КПСС направляет Желтовского директором Богандинского леспромхоза в Тюменский район. Год понадобился грамотному и волевому управленцу, чтобы поставить на ноги отстающее предприятие. И вновь партийная путёвка — возглавить областную базу «Заготживсырья» в городе Тюмени. Партия всегда отправляла его на трудные участки, а он, как верный солдат, отвечал: «Есть!».
Ксенофонт Георгиевич всегда с гордостью вспоминал службу в милиции и боевых товарищей. Он встречался с молодыми сотрудниками ГУВД области, рассказывал о становлении милиции в нашем крае, напутствовал на нелёгкую службу по охране общественного порядка в городе.
Он всегда считался своим среди сотрудников милиции, а это многого стоит. Желтовский был гордостью Тюмени, но не просил ничего лично для себя. Для него Родина — не пустой звук, потому что любил он её, был отважным и храбрым солдатом России. В музее истории тюменской полиции развёрнута постоянная экспозиция, посвящённая одному из первых начальников правопорядка нашей области, который по праву считается основателем рабоче-крестьянской милиции в нашем крае.
В апреле 1957 года Ксенофонт Желтовский ушёл на пенсию. Последние годы провёл в доме-интернате ветеранов труда Тюмени по улице Минской. Умер Герой Первой мировой войны и полный Георгиевский кавалер 28 мая 1985 года, пережив жену и двоих сыновей.
 
5 октября 1918 года коллегия НКВД РСФСР утвердила Инструкцию об организации отделов уголовного розыска. Именно от этой даты начинается отсчёт со дня образования службы уголовного розыска Российской Федерации.

Награждён советским государством орденом Трудового Красного Знамени, медалью «За победу над Германией в Великой Отечественной войне 1941–1945 гг.», медалью «Ветеран труда».