И все же, несмотря на долго еще продолжающуюся смуту среди князей, Мономзху удалось добиться главного: Любечский съезд положил начало объединению русских военных сил против половцев. В 1100 г . в город Витичев, неподалеку от Киева, князья съехались вновь для того, чтобы окончательно прекратить междоусобицу и договориться о совместном походе против половцев. Зачинщик смуты Давыд был наказан — у него отняли город Владимир-Волынский. Святополк послал туда своего наместника. Лишь после этого Мономах вновь выдвинул свою идею об организации общерусских сил против половцев.
К этому времени Руси противостояли две наиболее сильные половецкие орды — приднепровские половцы во главе с ханом Боняком и донские половцы во главе с ханом Шаруканом. За каждым из них стояли другие ханы, сыновья, многочисленные родственники. Оба хана были опытными полководцами, дерзкими и смелыми воинами, старинными противниками Руси; за ними десятки сожженных русских городов и деревень, тысячи угнанных в плен людей. За мир русские князья платили ханам огромные выкупные деньги. Теперь Мономах призывал князей освободиться от этого тяжкого налога, нанести половцам упреждающий удар.
Половцы словно почувствовали назревающую угрозу: по их предложению в 1101 г . в городе Сакове состоялся съезд ведущих русских князей и половецких ханов, который рассмотрел отношения Руси со степью. На этом съезде стороны снова заключили мир, обменялись заложниками. Кажется, что это соглашение поставило под вопрос все усилия Мономаха, но правильность его линии подтвердилась уже на следующий год. Осенью, когда он был в Смоленске, гонец принес ему весть из Киева о нападении войска Боняка на переяславские земли. Получив после встречи в Сакове год передышки, половцы сами перешли в наступление.
Святополк и Владимир Мономах тщетно гнались за войском Боняка. Тот, разграбив переяславские земли, вышел к Киеву. Братья поспешили за ним, но половцы уже ушли на юг. И снова все более ощутимой становилась задача предупредить дальнейшие половецкие набеги.
В 1103 г . русские князья съехались к Долобскому озеру, где договорились, наконец, о совместном походе против половцев. Мономах настаивал на немедленном весеннем выступлении, когда половцы еще не вышли на летние пастбища и вволю не накормили своих коней. Но возражал Святополк, который не хотел отрывать смердов от весенних полевых работ и губить их лошадей. Кое-кто из князей поддержал его. Мономах выступил с короткой, но яркой речью: «Дивлюсь я, дружина, что лошадей жалеете, на которых пашут! А почему не подумаете о том, что вот начнет пахать смерд и, приехав, половчин застрелит его из лука, а лошадь его возьмет, а в село его приехав, возьмет жену его и детей его и все его имущество? Так лошади вам жаль, а самого смерда не жаль». Выступление Мономаха положило конец спорам и колебаниям.
Вскоре русское войско, в которое вошли дружины всех видных русских князей (не пришел лишь, сославшись на болезнь, черниговский князь Олег, старинный друг половцев), а также пешие полки, выступило в весеннюю степь. Решающая битва с половцами произошла 4 апреля близ урочища Сутень, неподалеку от Азовского побережья. На стороне половцев в ней принимали участие более 20 видных ханов. Летописец позднее записал: «И поидоша полкове, аки борове, и не бе презрети ихъ. И Русь поидоша противу имъ» («И двинулись полки половецкие как лес, конца им не было видно; и Русь пошла им навстречу»). Но на истомленных долгой зимой конях половцы не сумели нанести своего знаменитого стремительного удара. Их войско было рассеяно, большинство ханов убито. Хана Белдюзя взяли в плен. Когда он предложил за себя огромный выкуп, Мономах сказал ему, что хан предлагает просто вернуть награбленное на Руси, и приказал зарубить его в назидание другим. А затем русские дружины пошли по половецким «вежам», освобождая пленников, захватывая богатую добычу, отгоняя к себе табуны коней, стада.
Это была первая большая победа русов в глубине степи. Но до основных становищ половцев они так и не дошли. На три года прекратились половецкие набеги. Лишь в 1105 г . половцы потревожили русские земли. Они воспользовались тем, что русские князья были втянуты в этот год в войну с полоцким князем. На следующий год половцы нагрянули снова. Через год объединенное войско Боняка и Шарукана опять появилось на Руси, разоряя киевские и переяславские земли. Объединенное войско русских князей неожиданным встречным ударом опрокинуло их на реке Хорол. Русы зарубили брата Боняка, едва не пленили Шарукана, захватили огромный половецкий обоз. Но основные силы половцев ушли восвояси.
И снова затихли половцы. Но теперь русские князья не стали ждать новых набегов. Дважды русские дружины наносили удары по половецкой территории. В 1111 г . Русь организовала против половцев грандиозный поход, который достиг сердца их земель — города Шаруканя вблизи Дона. С ближними же дружественными половцами закреплялись мирные отношения. В эти годы Мономах и Олег женили своих сыновей, Юрия Владимировича (будущего Юрия Долгорукого) и Святослава Ольговича, на дочерях союзных половецких ханов. Так в семье Рюриковичей кроме славян, шведов, греков, англичан появилась и половецкая династическая линия.
Этот поход начался необычно. Когда в конце февраля войско подготовилось к выходу из Переяславля, то впереди него выступили епископ, священники, которые с пением вынесли большой крест. Его водрузили неподалеку от ворот города, и все воины, в том числе и князья, проезжая и проходя мимо креста, получали благословение епископа. А затем на расстоянии 11 верст представители духовенства двигались впереди русского воинства. В дальнейшем они шли в обозе войска, где находилась и вся церковная утварь, вдохновляя русских воинов на ратные подвиги.
Мономах, бывший вдохновителем этой войны, придал ей характер крестового похода по образцу крестовых походов западных властелинов против мусульман Востока. Инициатором этих походов выступил папа римский Урбан II. А в 1096 г . начался первый крестовый поход западных рыцарей, закончившийся взятием Иерусалима и созданием рыцарского Иерусалимского королевства. Священная идея освобождения «гроба Господня» в Иерусалиме от рук неверных стала идеологической основой этого и последующих походов западных рыцарей на Восток.
Сведения о крестовом походе и освобождении Иерусалима быстро распространились во всем христианском мире. Было известно, что во втором крестовом походе принимал участие граф Гуго Вермендуа, брат французского короля Филиппа I, сын Анны Ярославны, двоюродный брат Мономаха, Святополка и Олега. Одним из тех, кто принес эти сведения на Русь, был игумен Даниил, побывавший в начале XII в. в Иерусалиме, а потом оставивший описание своего путешествия о пребывании в крестоносном королевстве. Даниил был в дальнейшем одним из сподвижников Мономаха. Возможно, ему и принадлежала идея придания походу Руси против «поганых» характера крестового нашествия. Этим и объясняется та роль, которую отвели духовенству в этом походе.
В поход вышли Святополк, Мономах, Давыд Святославич с сыновьями. С Мономахом находились его четыре сына — Вячеслав, Ярополк, Юрий и девятилетний Андрей.
Достигнув реки Ворсклы, перед выходом в половецкую степь Мономах снова обратился к духовенству. Священники воздвигли на холме большой деревянный крест, украшенный золотом и серебром, и князья целовали его на глазах всего воинства. Крестовая символика похода продолжала соблюдаться.
Половцы отступали в глубь своих владений. Вскоре русское войско подошло к Шаруканю — это были сотни глинобитных домов, кибиток, опоясанных невысоким земляным валом. Ни хана Шарукана, ни его войска в городе не было. Перед приступом Мономах снова выдвинул вперед духовенство и оно освятило русскую рать. Но депутация горожан вынесла русским князьям на огромных серебряных блюдах рыбу и чаши с вином. Это означало сдачу города на милость победителей и желание дать выкуп за сохранение жизни горожан.
Жители города Сугрова, к которому русское войско подошло на следующий день, отказались сдаться. Тогда под прикрытием подвижных «веж» русы подошли к городу и забросали его горящими факелами, засыпали стрелами с подожженными смоляными наконечниками. Пылающий город был взят приступом. Пленных в этом бою не брали: Мономах хотел надолго выбить орду хана Сугрова из общеполовецких воинских сил.
На следующий день русская рать вышла к Дону, а 24 марта встретилась с большим половецким войском на речке Дегей. Перед битвой князья обнялись и попрощались друг с другом и сказали: «Убо смерть намъ зде, да станемъ крепко». Половцы, не готовые сражаться с хорошо организованным и многочисленным войском, не выдержав натиска, отступили.
27 марта основные силы сторон сошлись на реке Сольнице, притоке Дона. По словам летописца, половцы «выступиша яко борове (лес) велицин и тмами тьмы», они со всех сторон обступили русское войско. Мономах не стал, как обычно, стоять на месте, ожидая натиска половецких всадников, а повел войско им навстречу. Воины сошлись в рукопашной битве. Половецкая конница в этой толчее потеряла свой маневр, а русы, в рукопашном бою начинали одолевать. В разгар битвы началась гроза, усилился ветер, пошел сильный дождь. Русы так перестроили свои ряды, что ветер и дождь били в лицо половцам. Но те сражались мужественно и потеснили чело (центр) русского войска, где дрались киевляне. Им на помощь пришел Мономах, оставив свой «полк правой руки» сыну Ярополку. Появление стяга Мономаха в центре битвы воодушевило русов, и они сумели преодолеть начавшуюся было панику. Наконец половцы не выдержали яростной схватки и бросились к донскому броду. Их преследовали и рубили; пленных и здесь не брали. Около десяти тысяч половцев полегло на поле боя, остальные бросали оружие, прося сохранить жизнь. Лишь небольшая часть во главе с Шаруканом ушла в степь. Другие ушли в Грузию, где их взял на службу Давид IV.
Весть о русском крестовом походе в степь была доставлена в Византию, Венгрию, Польшу, Чехию и Рим. Таким образом, Русь в начале XII в. стала левым флангом общего наступления Европы на Восток.