В городе Миргород Полтавской губернии живут два помещика — Иван Иванович и Иван Никифорович. Они являются лучшими друзьями, их дома стоят рядом. В Миргороде все восторгаются их крепкой дружбой, хотя и отличаются друг от друга (немного) характером и больше – внешним видом. Однажды, задумавшись о своём хозяйстве и прикидывая, чего ему недостаёт, Иван Иванович видит, как на дворе Ивана Никифоровича баба, разбирая вещи, достаёт ружьё. Ружьё Ивану Ивановичу приглянулось, и тот идёт испросить его у соседа – обменять на бурую свинью и пару мешков с овсом. Иван Никифорович отказывается и отстаивает ценность ружья для своего хозяйства, только распаляя и раздражая тем соседа. Иван Иванович сердится и говорит, что Ивану Никифоровичу носится со своим ружьем, как дурень с писаной торбой. В ответ тот обзывает друга гусаком.
Двое друзей ссорятся, и доходит до того, что Иван Никифорович гонится за соседом, а тот улепётывает от него, показывая кукиш и с этого дня перестают общаться. Поначалу бывшие приятели близки к примирению, но Ивана Никифоровича настраивает против соседа Агафия Федосеевна, его знакомая. Послушный её совету, он, в довершение всего, прямо на месте плетня, соединяющего его участок с соседским, строит загон для гусей. Ночью оскорблённый Иван Иванович подпиливает столбы, на которых держится этот загон. Кроме того, Иван Иванович отправляется в суд и подает заявление на Ивана Никифоровича. В своем заявлении Иван Иванович сообщает, что бывший друг построил свой хлев частично на его территории, а также обозвал его "гусаком". За все это Иван Иванович требует оштрафовать или заключить его в тюрьму. Иван Иванович уходит, оставив весь суд в шоке. Сцена в суде завершается неожиданно – в здание врывается бурая свинья Ивана Ивановича, вырывает судебный иск Ивана Никифоровича из рук истца и убегает с ним. Домой к Ивану Ивановичу в тот же день является городничий – и обвинить с злом сговоре со свиньей, и умолить помириться с врагом. Но и его просьбы остаются без ответа.
На следующий день весь Миргород узнает, что свинья Ивана Ивановича украла из суда заявление Ивана Никифоровича. Тогда Иван Никифорович пишет новое заявление взамен утерянному. В заявлении он требует от суда правосудия, иначе он обратится в вышестоящую инстанцию (палату). Суд принимает иск к рассмотрению, но потом документ два года пылится в шкафу. Весь город в итоге подключается к тому, чтобы примирить Ивана Ивановича и Ивана Никифоровича. Спустя несколько лет, их, успешно избегающих появляться одновременно в одном месте, обманом сводят на приёме у городничего. Там соседи уже готовы снова стать друзьями. Иван Никифорович протягивает Ивану Ивановичу руку и по оплошности вновь позволяет вырваться страшному оскорблению, вспоминая, как именно назвал в день ссоры своего соседа. Ивана Ивановича вновь захлёстывают ярость и обида, и он наотрез отказывается мириться с Иваном Никифоровичем во что бы то ни стало. Иван Никифорович и Иван Иванович стареют и дряхлеют, но по-прежнему состоят в ссоре и по-прежнему со дня на день ждут решения суда. Повесть венчает ставшее крылатым горькое восклицание автора: «Скучно на этом свете, господа!»