ЯдроКодаподготовка к экзаменам
Подготавливаем текст, источники и редакционные примечания без изменения разметки страницы.
Автор: Казачкин Даниил Михайлович · Обновлено
Почему один Git-коммит может давать разные байты: окружение, метаданные архивов и собственный опыт с детерминированной сборкой.
У двух разработчиков один Git-коммит, но архивы приложения имеют разные контрольные суммы. Это не обязательно означает подмену кода. В архив мог попасть текущий час, путь рабочего каталога, случайный идентификатор или разный порядок файлов. Однако объяснить различие всё равно необходимо: иначе нельзя независимо сопоставить опубликованный артефакт с заявленными исходниками.
Воспроизводимость превращает сборку в проверяемое преобразование. Она полезна и для обычной эксплуатации: позволяет отличать изменение продукта от случайных колебаний упаковки, увереннее переиспользовать результаты и сравнивать релизы. При этом воспроизводимая сборка и очистка диска решают разные задачи. Возможность пересобрать файл не означает разрешения автоматически удалить единственную резервную копию.
Определение проекта Reproducible Builds требует побитового совпадения оговорённых артефактов при одинаковых исходниках, существенном окружении и инструкциях сборки. Окружение включает зависимости, настройки и другие влияющие входы. Речь не о совпадении всех логов, где закономерно могут различаться время и диагностические сведения. Определение.
Обзор Lamb и Zacchiroli рассматривает воспроизводимые сборки как способ усилить проверку цепочки поставки программ. Здесь указан доступный препринт 2021 года; это исследование подхода, а не свидетельство проверки конкретного релиза нашего приложения. Препринт. Дальше приведён собственный минимальный опыт с упаковкой, позволяющий увидеть один источник различий.
Вместо запуска компилятора создадим маленький tar-архив в памяти. Содержимое файла одинаково, но первый параметр задаёт время в метаданных. Мы также явно задаём порядок имён, права и идентификаторы владельца, чтобы результат не зависел от случайного порядка исходного словаря и локальной учётной записи.
import hashlib
import io
import tarfile
files = {"version.txt": b"release-1", "app.txt": b"ready"}
def build(timestamp):
buffer = io.BytesIO()
with tarfile.open(fileobj=buffer, mode="w", format=tarfile.USTAR_FORMAT) as archive:
for name in sorted(files):
payload = files[name]
info = tarfile.TarInfo(name)
info.size = len(payload)
info.mtime = timestamp
info.mode = 0o644
info.uid = info.gid = 0
info.uname = info.gname = ""
archive.addfile(info, io.BytesIO(payload))
return buffer.getvalue()
first, second = build(100), build(101)
assert first != second
assert build(100) == build(100)
print(hashlib.sha256(first).hexdigest() == hashlib.sha256(second).hexdigest())
# FalseРазличие вызвано метаданными, хотя полезная нагрузка совпадает. Это хороший первый диагноз для архивов с неожиданно меняющимся хэшем. Но фиксировать время недостаточно для произвольной программы: компилятор может встроить абсолютный путь, генератор — случайный порядок объектов, а упаковщик — идентификатор процесса. Каждый обнаруженный источник вариативности требует объяснения.
Документация проекта отдельно разбирает метаданные архивов. Практический вывод для собственного конвейера — заранее определить, какие сведения должны попадать в конечный продукт. Дата версии может быть полезной, тогда как текущее время запуска каждого сборочного шага часто лишь мешает сравнению. Нельзя бездумно удалять поля, от которых зависит поведение программы или корректность её формата.
Сначала зафиксируйте точную ревизию исходников и версии инструментов. Затем соберите релиз в двух чистых каталогах, сохранив описание окружения. Проверяйте именно публикуемые файлы, а не только сообщение об успешной компиляции. При несовпадении сравните состав архивов, метаданные и отдельные файлы. Один большой хэш сообщает о различии, но не объясняет его причину.
Затем намеренно меняйте несущественные условия: путь каталога, имя пользователя, часовой пояс. Если артефакт меняется, решите, действительно ли это условие должно влиять на результат. Такой эксперимент сильнее повторного запуска в том же тёплом каталоге, где скрытые зависимости могли сохраниться от предыдущей сборки. Кэш полезен для скорости, но не должен скрывать отсутствующий вход.
Lock-файл фиксирует разрешение зависимостей, однако сам по себе не описывает всё окружение. Внешний скачиваемый бинарник, плавающий тег базового образа или генерация по текущему состоянию сетевого сервиса остаются дополнительными входами. Для каждого такого шага нужны явная версия, проверяемый источник и политика обновления. Изоляция исполнения помогает воспроизвести условия, но не гарантирует детерминизм автоматически.
Для постоянной проверки выберите небольшой выпуск, который можно пересобирать независимо от большого релизного конвейера. Сохраните список входов и объяснение ожидаемых файлов рядом с инструкцией. После обновления компилятора повторите сравнение в новом окружении и обозначьте новую базовую конфигурацию. Требование воспроизводимости относится к согласованному набору входов; оно не запрещает осмысленно менять инструменты, но делает такое изменение явным и проверяемым.
Совпадающие артефакты не доказывают отсутствие уязвимостей в исходниках. Две сборки могут одинаково воспроизвести один дефект. Контрольная сумма также требует доверенного ожидаемого значения: если злоумышленник заменил и архив, и опубликованный хэш, простое сравнение не устанавливает автора. Воспроизводимость добавляет возможность независимой проверки преобразования, а не универсальную гарантию безопасности.
Для команды полезный результат — документированный рецепт сборки и автоматическое сравнение значимых артефактов. Сохраняйте предыдущий рабочий релиз для отката согласно отдельной политике хранения. Тогда можно разумно ограничивать временные каталоги и кэши, не смешивая воспроизводимые промежуточные данные с резервными копиями, пользовательскими файлами и доказательствами происхождения релиза.
Самостоятельный русскоязычный разбор ЯдроКода. Описания первоисточников отделены от авторских учебных примеров и инженерных выводов. Материал не является переводом или перепечаткой.
Учебные данные, расчёты, таблицы и программные примеры созданы для этой публикации. Иллюстрации и программный код из первоисточников не воспроизводятся.