Возникновение гербов и, соответственно геральдики, связывают с изменением военного снаряжения в эпоху первых крестовых походов. С появлением полноценных доспехов, которые включали шлем, закрывающий лицо, стало сложно получить какую-либо информацию о человеке на поле боя. Чтобы как-то себя идентифицировать, в период между первым и вторым крестовыми походами рыцари начали расписывать свои щиты различными фигурами, игравшими роль опознавательных знаков.
Кроме того, на развитие геральдики повлияло развитие феодальных отношений в Европе. Принадлежность к той или иной социальной группе стала фактором, полостью определявшим жизнь человека, а знатности рода стало придаваться огромное значение. В этих условиях естественным образом возникли эмблемы, символизирующие тот или иной род.
Сначала гербы были только у крупных сеньоров, затем практику использования гербов переняли и некоторые знатные дамы. После этого гербы появились у духовных лиц, зажиточных мещан, ремесленников, цехов и даже целых городов. Церковь, изначально относившаяся к гербам с подозрением, к XIV веку стала одним из центров геральдического творчества.
Первые гербы были достаточно простыми и легко читаемыми, но со временем развилась символика гербов, правила их начертания и использования, а при дворах крупных феодалов появилась специальная должность — герольд. Изначально герольды были глашатаями и распорядителями, но, поскольку их должность требовала знания титулов и родословных знати и рыцарей, со временем герольды начали заниматься систематизацией знаний о гербах и в конечном счете создали геральдику — науку о гербах.
В современном мире гербы утратили свою прежнюю важность, однако нельзя сказать, что геральдика из практической дисциплины полностью превратилась в историческую: даже сегодня многие организации, компании и частные лица используют гербы в качестве идентифицирующей символики, и разрабатываются такие гербы специальными геральдическими обществами с учетом исторически сложившихся правил и требований.
Дата 10 июня была выбрана для празднования Междугородного дня геральдики потому, что в этот день в 1128 году король Англии Генрих I Боклерк посвятил своего будущего зятя Жоффруа V Платагенета в рыцари и пожаловал ему щит с изображением шести золотых львов на лазурном фоне. Именно этот щит некоторые специалисты в области геральдики считают одним из первых в истории полноценных гербов, хотя другие и подвергают сомнениям эту теорию.
И хотя доподлинно не известно, можно ли считать 10 июня 1128 года днем, когда зародилась геральдика в ее современном понимании, создатели Международного дня геральдики — Международная ассоциация геральдистов-любителей — посчитали, что эта дата отлично подходит для празднования. По случаю праздника ассоциации геральдистов по всему миру проводят различные мероприятия, направленные на популяризацию геральдики.