Главный герой, от лица которого ведется повествование, вспоминает о том, как он лет семь тому назад жил в уездном имении Петра Петровича Белокурова в Т-ой губернии. Сам рассказчик – художник, однако за лето, проведенное там, он не написал толком ни одной нормальной картины. Чаще всего рассказчик коротал время, уходя из дома и гуляя по окрестностям. Зато он гулял и ленился. Как-то раз он забрел в незнакомую усадьбу, у ворот которой беседовали две девушки: одна постарше, худая, красивая, а другая – нежная блондинка лет восемнадцати с большими ртом и огромными глазами, такая же худая, как первая. Обе девушки показались художнику давно знакомыми.
Через некоторое время в имение Белокурова приезжает коляска, в которой сидела старшая из девушек. Как оказалось, она занималась благотворительностью и собирала деньги для крестьян-погорельцев. После того, как рассказчик оставил свою подпись в подписном листе, девушка пригласила его в гости.
Вечером Белокуров рассказал, что эти девушки из семьи Волчаниновых. А старшую зовут Лидией. Также он поведал рассказчику, что живут они втроем с матерью и младшей сестрой в селе Шелковка. Глава семьи сделал хорошую карьеру в Москве, однако умер, дослужившись до тайного советника. Несмотря на смерть Волчанинова, семья жила не бедно, однако совершенно безвыездно, а Лидия, взявшая на себя обязанности главы семейства, работала учительницей с окладом в двадцать пять рублей в месяц.
В ближайшие праздника Петр Петрович вместе с главным героем решили навестить Волчаниновых. Вдова Екатерина Павловна, в прошлом красивая женщина, сейчас была стара не по годам, страдала одышкой, а сама была какой-то рассеянной, грустной, потерянной. На протяжении всего вечера она пыталась занять рассказчика разговорами о живописи. Лида жаловалась Белокурову на председателя управы с говорящей фамилией Балаган, который назначил на все должности своих родных и близких, а сам занимался не пойми чем. Старшая сестра считала, что для борьбы с Балаганом нужно сформировать мощную партию из молодежи, «но вы видите, какая у нас молодежь. Стыдно, Петр Петрович!» — заключила Лидия. Младшую звали Женей, и она (в сравнении с Лидой) казалась совсем ребенком.
Рассказчик стал частенько навещать Волчаниновых и в итоге понял, что ему нравится Женя. Они гуляли, катались на лодке, а когда он писал картины, она стояла рядом и с восхищением наблюдала. Рассказчику симпатизировало, что для Мисюсь (как прозвали младшую сестру за то, что она в детстве так называла свою французскую гувернантку) он был талантливым и одаренным художником, настоящей знаменитостью. Сама Женя постепенно влюблялась в рассказчика.
Однако его отношения с Лидой не сложились, что называется, от слова «совсем». Она считала его пейзажи бесполезными, так как они не отображают народные нужды, а рассказчик, в свою очередь, парировал это тем, что ее благотворительная деятельность не только не приносит никакой пользы крестьянам, но и вредит им, так как за книги они должны платить земству, а значит, были вынуждены еще больше работать, чтобы заработать еще и на книжки. Приобретенные знания были бесполезны для них, так как их жизнь оставалась прежней — нищей и наполненной тяжким физическим трудом. Поэтому книжные премудрости лишь порождали несоответствие желаемого с действительным.
Одним из вечеров, когда Женя провожала рассказчика до ворот усадьбы, он признался ей в любви, она ответила ему взаимностью. Они поцеловались. Однако она тут же убежала рассказывать об этом матери с сестрой, так как они, по ее словам, «не имеют тайн друг от друга».
Придя к Волчаниновым на следующий день с самыми серьезными намерениями, художник застал дома одну Лиду, которая сухо и с некоторым отвращением объявила ему, что Мисюсь с Екатериной Павловной уехали в Пензенскую губернию к тете, откуда собираются отправиться за границу. Когда главный герой возвращался домой, его нагнал мальчик с запиской от Жени, в которой она признавалась, что Лида, авторитет которой был в семье непререкаем, настояла на том, чтобы они расстались, а сама Мисюсь просто не может проявить неповиновение. После Женя пожелала рассказчику счастья и добавила, что они с мамой «горько плачут».
Больше художник Молчаниновых не встречал. Как-то раз он пересекся с Белокуровым, который рассказал, что Лидия, как и прежде, живет в своем имении и учит детей, ей удалось сплотить вокруг себя сильную партию из молодежи, и они вместе на последних выборах сумели победить Балагана. Про Женю же было известно лишь, что в Шелковке она не жила, а где была – неясно.
Постепенно рассказчик забывает об усадьбе Молчаниновых и лишь в моменты тоски и одиночества вспоминает о доме с мезонином и Мисюсь. В такие моменты ему кажется, что где-то там, за границей, о нем так же вспоминает Женя…