Наблюдая изо дня в день, из года в год за работами, местные жители начали терять счет времени и забывать о конечных намерениях строителей. По их понятиям, сооружение моста не только не подвигалось вперед, но все больше запутывалось, дробясь и распадаясь на бесконечное количество вспомогательных и побочных операций, и с течением времени все меньше походило на то, чем оно должно стать. Люди, которые сами не работают и ничего в жизни не предпринимают, быстро теряют терпение и ошибочно судят о деятельности других. Вышеградские турки при упоминании о строительстве моста снова стали отмахиваться и пожимать плечами. Христиане молчали, но смотрели на строительство с затаенным злорадством и втайне желали ему провала, как всякому турецкому нововведению. Примерно в это время игумен монастыря Банье у Прибоя записал на последнем чистом листе минеи: «Да будет ведомо, когда Мехмед-паша строил мост на Дрине у Вышеграда. И лютые беды принял христианский народ от агарянина неверного, и в три погибели спину гнул. С моря мастеров приводили. Три года строили и много денег поистратили. Реку разделили надвое и натрое, а моста поставить не смогли».
Проходили годы, лето сменялось осенью, зима весною, уезжали и возвращались рабочие и мастера. Теперь уж вся Дрина была перегорожена, но не мостом, а деревянными лесами, представлявшимися бестолковым и путаным соединением сосновых балок и досок. По одну и по другую сторону от них покачивались деревянные стрелы подъемников, установленных на крепко связанных плотах. На обоих берегах реки дымили костры, там на огне плавили свинец, которым заливали трещины в блоках и невидимым образом скрепляли их между собой.
В конце третьего года произошло одно из тех несчастий, без которых редко обходятся большие строительства. Заканчивали средний бык, тот, что выше остальных и вверху шире, потому что на нем должны были покоиться ворота. Когда переносили очередной блок, работы застопорились. Рабочие суетились под громадой четырехугольного камня, который повис, оплетенный толстыми канатами, над их головами. Подъемнику никак не удавалось подвести камень точно к заготовленному для него гнезду. В нетерпении подбежал Арап и громкими сердитыми окриками (на том диковинном смешанном наречии, со временем образовавшемся в этом разноплеменном скоплении людей) стал наставлять тех, кто внизу на воде управлял подъемником. Вдруг непонятно отчего канаты ослабли, и каменный блок сначала одним своим краем, а потом и всей тяжестью обрушился на возбужденного Арапа, который, не обращая внимания на то, что делается над его головой, глядел на воду. По странной случайности блок опустился точно в назначенное ему место, но при падении задел Арапа, придавив нижнюю часть его тела. Поднялась сутолока, шум и беготня. Вскоре подоспел и мастер Антоние. Молодой негр, вначале потерявший сознание, пришел в себя; испуская стоны сквозь стиснутые зубы, он не сводил печальных и испуганных глаз с лица мастера Антоние. Сдвинув брови, белый как полотно мастер Антоние велел собрать рабочих, принести инструмент и приступить к подъему блока. Но все было напрасно. Юноша истекал кровью, дыхание его прерывалось, взгляд туманился. Через полчаса он скончался, судорожно сжимая руку мастера в своей.