Непримиримыми противниками папы и его преемников стали многие короли и императоры, считавшие светскую власть главенствующей и не желавшие мириться с притязаниями Рима на могущество в мирских делах.
Проводя свою политику на усиление папства, Григорий VII созвал в Риме собор. Здесь был строжайше подтвержден запрет брака для священников и симонии,
К моменту собора вырос и окреп император Священной Римской империи Генрих IV, в период малолетства которого, по сути дела, не было другой сильной и авторитетной власти в Европе, кроме власти папы римского, который и смог тогда спокойно проводить свои реформы. Теперь же император решил вернуться к традициям своей франконской династии, привыкшей повелевать папами, назначая на римский престол своих ставленников и рассматривая епископов как орудия светской власти. Генрих IV, нисколько не стесняясь соборных решений, продолжал смещать и назначать аббатов и епископов. Григорий VII терпел и выжидал, пока это происходило в Германии. Когда же король вмешался в итальянские дела, папа предостерег его, призывая переменить образ мыслей и покаяться в совершенных грехах, иначе ему грозило отлучение от церкви и в конечном итоге лишение власти.
Подобная реакция папы была очень смелым шагом, если учесть, что в тот момент он был окружен врагами: его поддерживали только монахи и возбужденная их проповедью неорганизованная толпа жителей Рима и других итальянских городов. Генрих IV и не подумал покориться папе. Напротив, он созвал свой собор, состоявший из враждебного Риму германского духовенства. На этом соборе папа был низложен, а в Рим отправились императорские послы с тем, чтобы побудить граждан и духовенство избрать нового папу.
В сам Вечный город во время богослужения папы Григория VII в церкви святой Марии ворвалась вооруженная банда. Разбойники избили папу и заточили в тюрьму. Только на следующий день преданные папе римляне вызволили его. После этого Григорий VII собрал свой собор, на котором присутствовали итальянские и французские прелаты. На нем папа объявил Генриха IV лишенным власти короля над Германией и Италией и освободил всех его подданных от присяги верности.
Генрих IV оказался в очень невыгодном положении, поскольку решением папы воспользовались недовольные его политикой сеньоры, боявшиеся усиления центральной власти. Они собрались на съезд и низложили короля. Единственное, что оставалось Генриху IV в такой ситуации, это искать примирения с папой. Вот тут-то и начался путь императора в Каноссу в 1077 году, куда практически бежал, спасаясь от своих врагов, Григорий VII. Этот замок тогда принадлежал маркграфине тосканской Матильде, его преданной стороннице.
Зимой, спешно, почти без спутников, Генрих поехал через Альпы, занесенные снегом, просить у папы прощения. Папа же колебался, боясь подвоха со стороны императора, и заставил того прождать несколько дней у запертых ворот замка. Наконец, он смягчился: Генрих в одежде кающегося грешника был впущен и простерся перед Григорием. Папа снял с него отлучение и принял присягу о примирении с сеньорами и епископами Германии.
Из одной летописи, враждебно настроенной по отношению к Генриху IV, мы узнаем, что во время обедни папа якобы предложил королю «Божье испытание» на святом причастии. Преломив освященный хлеб и вкушая его, он будто бы должен был сказать: «Если я невинен, пусть Бог всемогущий освободит меня от всяких подозрений; если я виновен, пусть поразит смертью внезапной». Генрих не решился произнести это и, таким образом, признал себя виновным.
Поэтому-то выражение «идти в Каноссу» и означает «каяться в своих грехах, унижаясь и прося о прощении».
Борьба же папства и императоров за высшую власть, получившая в литературе название борьбы за инвеституру, на этом не закончилась. Она продолжалась до конца XIII в., вплоть до «Авиньонского пленения пап» французским королем Филиппом IV Красивым. С тех пор папство уже не смогло оправиться от потрясения и не претендовало даже на соперничество с набиравшими силу государствами Европы.