dlang/cdcdb
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

Обновление схемы БД

Browse source
This commit is contained in:
Alexander Zhirov 2025-09-10 00:13:02 +03:00
parent dc0c8349c7
commit a732c6a4b2
Signed by: alexander
GPG key ID: C8D8BE544A27C511
4 changed files with 183 additions and 80 deletions
Download patch file Download diff file Expand all files Collapse all files

12
source/cdcdb/cdc/cas.d
View file

@ -3,6 +3,9 @@ module cdcdb.cdc.cas;
import cdcdb.db; import cdcdb.db;
import cdcdb.cdc.core; import cdcdb.cdc.core;
import std.digest.sha : SHA256, digest;
import std.format : format;
final class CAS final class CAS
{ {
private: private:
@ -13,8 +16,13 @@ public:
_db = new DBLite(database); _db = new DBLite(database);
} }
size_t saveSnapshot(const(ubyte)[] data) size_t saveSnapshot(string filePath, const(ubyte)[] data)
{ {
ubyte[32] hashSource = digest!SHA256(data);
// Сделать запрос в БД по filePath и сверить хеш файлов
// Параметры для CDC вынести в отдельные настройки (продумать) // Параметры для CDC вынести в отдельные настройки (продумать)
auto cdc = new CDC(100, 200, 500, 0xFF, 0x0F); auto cdc = new CDC(100, 200, 500, 0xFF, 0x0F);
// Разбить на фрагменты // Разбить на фрагменты
@ -26,7 +34,7 @@ public:
// Записать фрагменты в БД // Записать фрагменты в БД
foreach (chunk; chunks) foreach (chunk; chunks)
{ {
writeln(chunk.index); writeln(format("%(%02x%)", chunk.sha256));
} }
_db.commit(); _db.commit();
// Записать манифест в БД // Записать манифест в БД

10
source/cdcdb/db/dblite.d
View file

@ -9,6 +9,11 @@ private:
string _dbPath; string _dbPath;
// _scheme // _scheme
mixin(import("scheme.d")); mixin(import("scheme.d"));
SqliteResult sql(T...)(string queryText, T args)
{
return cast(SqliteResult) query(queryText, args);
}
public: public:
this(string database) this(string database)
{ {
@ -40,8 +45,5 @@ public:
query("ROLLBACK"); query("ROLLBACK");
} }
SqliteResult sql(T...)(string queryText, T args) // findFile()
{
return cast(SqliteResult) query(queryText, args);
}
} }

239
source/cdcdb/db/scheme.d
View file

@ -1,75 +1,168 @@
auto _scheme = [ auto _scheme = [
q{ q{
-- Метаданные снапшота -- ------------------------------------------------------------
CREATE TABLE IF NOT EXISTS snapshots ( -- Метаданные снимка
-- Уникальный числовой идентификатор снимка. Используется во внешних ключах. -- ------------------------------------------------------------
id INTEGER PRIMARY KEY AUTOINCREMENT, CREATE TABLE IF NOT EXISTS snapshots (
-- Произвольная метка/название снимка. -- Уникальный числовой идентификатор снимка. Используется во внешних ключах.
label TEXT, id INTEGER PRIMARY KEY AUTOINCREMENT,
-- Время создания записи в UTC. По умолчанию - сейчас.
created_utc TEXT NOT NULL DEFAULT (CURRENT_TIMESTAMP), -- Путь к исходному файлу, для удобства навигации/поиска.
-- Полная длина исходного файла в байтах для этого снимка (до разбиения на чанки). file_path TEXT,
source_length INTEGER NOT NULL,
-- Пороговые размеры FastCDC (минимальный/целевой/максимальный размер чанка) в байтах. -- Произвольная метка/название снимка (для человека).
-- Фиксируются здесь, чтобы позже можно было корректно пересобрать/сравнить. label TEXT,
algo_min INTEGER NOT NULL,
algo_normal INTEGER NOT NULL, -- Время создания записи (UTC). По умолчанию - текущее.
algo_max INTEGER NOT NULL, created_utc TEXT NOT NULL DEFAULT (CURRENT_TIMESTAMP),
-- Маски для определения границ чанков (быстрый роллинг-хэш/FastCDC).
-- Обычно степени вида 2^n - 1. Хранятся для воспроизводимости. -- Полная длина исходного файла в байтах (до разбиения на чанки).
mask_s INTEGER NOT NULL, source_length INTEGER NOT NULL,
mask_l INTEGER NOT NULL,
-- Состояние снимка: -- Пороговые размеры FastCDC: минимальный/целевой/максимальный размер чанка (в байтах).
-- pending - метаданные созданы, состав не полностью загружен; -- Фиксируются для воспроизводимости и сравнения результатов.
-- ready - все чанки привязаны, снимок готов к использованию. algo_min INTEGER NOT NULL,
status TEXT NOT NULL DEFAULT "pending" CHECK (status IN ("pending","ready")) algo_normal INTEGER NOT NULL,
) algo_max INTEGER NOT NULL,
},
q{ -- Маски FastCDC для определения границ чанков (обычно вида 2^n - 1).
-- Уникальные куски содержимого (сам контент в БД) -- Хранятся для воспроизводимости.
CREATE TABLE IF NOT EXISTS blobs ( mask_s INTEGER NOT NULL,
-- Хэш содержимого чанка. Ключ обеспечивает дедупликацию: одинаковый контент хранится один раз. mask_l INTEGER NOT NULL,
sha256 TEXT PRIMARY KEY,
-- Размер этого чанка в байтах. -- Состояние снимка:
size INTEGER NOT NULL, -- "pending" - метаданные созданы, состав не полностью загружен;
-- Сырые байты чанка. -- "ready" - все чанки привязаны, снимок готов к использованию.
content BLOB NOT NULL, status TEXT NOT NULL DEFAULT "pending" CHECK (status IN ("pending","ready"))
-- Когда этот контент впервые появился в базе (UTC). )
created_utc TEXT NOT NULL DEFAULT (CURRENT_TIMESTAMP) },
) q{
}, -- ------------------------------------------------------------
q{ -- Уникальные куски содержимого (дедупликация по sha256)
-- Состав снапшота (порядок чанков важен) -- ------------------------------------------------------------
CREATE TABLE IF NOT EXISTS snapshot_chunks ( CREATE TABLE IF NOT EXISTS blobs (
-- Ссылка на snapshots.id. Определяет, к какому снимку относится строка. -- Хэш содержимого чанка (hex, 64 символа). Обеспечивает уникальность контента.
snapshot_id INTEGER NOT NULL, sha256 TEXT PRIMARY KEY,
-- Позиция чанка в снимке (индексация).
-- Обеспечивает порядок сборки. -- Размер чанка в байтах. Должен совпадать с длиной content.
chunk_index INTEGER NOT NULL, size INTEGER NOT NULL,
-- Смещение чанка в исходном файле в байтах.
-- Можно восстановить как сумму size предыдущих чанков по chunk_index, -- Сырые байты чанка.
-- но хранение ускоряет проверки/отладку. content BLOB NOT NULL,
offset INTEGER,
-- Размер именно этого чанка в байтах (дублирует blobs.size для быстрого доступа и валидации). -- Момент, когда этот контент впервые появился в базе (UTC).
size INTEGER NOT NULL, created_utc TEXT NOT NULL DEFAULT (CURRENT_TIMESTAMP),
-- Ссылка на blobs.sha256. Привязывает позицию в снимке к конкретному содержимому.
sha256 TEXT NOT NULL, -- Последний раз, когда на контент сослались (для аналитики/GC).
-- Гарантирует уникальность позиции чанка в рамках снимка и задаёт естественный порядок. last_seen_utc TEXT NOT NULL DEFAULT (CURRENT_TIMESTAMP),
PRIMARY KEY (snapshot_id, chunk_index),
-- При удалении снимка его строки состава удаляются автоматически. -- Счётчик ссылок: сколько строк в snapshot_chunks ссылаются на этот sha256.
-- Обновления id каскадятся (на практике id не меняют). -- Используется для безопасного удаления неиспользуемых blob-ов.
FOREIGN KEY (snapshot_id) REFERENCES snapshots(id) ON UPDATE CASCADE ON DELETE CASCADE, refcount INTEGER NOT NULL DEFAULT 0,
-- Нельзя удалить blob, если он где-то используется (RESTRICT).
-- Обновление хэша каскадится (редкий случай). -- Дополнительные гарантии целостности:
FOREIGN KEY (sha256) REFERENCES blobs(sha256) ON UPDATE CASCADE ON DELETE RESTRICT CHECK (refcount >= 0),
) CHECK (size = length(content))
}, )
q{ },
-- Быстрый выбор всех чанков конкретного снимка (частый запрос). q{
CREATE INDEX IF NOT EXISTS idx_snapshot_chunks_snapshot ON snapshot_chunks(snapshot_id) -- ------------------------------------------------------------
}, -- Состав снимка (упорядоченный список чанков)
q{ -- ------------------------------------------------------------
-- Быстрый обратный поиск: где используется данный blob (для GC/аналитики). CREATE TABLE IF NOT EXISTS snapshot_chunks (
CREATE INDEX IF NOT EXISTS idx_snapshot_chunks_sha ON snapshot_chunks(sha256) -- Ссылка на snapshots.id. Определяет, к какому снимку относится строка.
} snapshot_id INTEGER NOT NULL,
-- Позиция чанка в снимке (индексация на твой выбор - 0/1-based; важно быть последовательным).
-- Обеспечивает порядок сборки.
chunk_index INTEGER NOT NULL,
-- Смещение чанка в исходном файле (в байтах).
-- Можно восстановить суммой size предыдущих чанков, но хранение ускоряет проверки/отладку.
offset INTEGER,
-- Размер конкретного чанка в составе (дублирует blobs.size для ускорения/валидации).
size INTEGER NOT NULL,
-- Ссылка на blobs.sha256. Привязывает позицию к конкретному содержимому.
sha256 TEXT NOT NULL,
-- Уникальность позиции чанка в рамках одного снимка.
PRIMARY KEY (snapshot_id, chunk_index),
-- Внешние ключи и их поведение:
-- При удалении снимка его строки состава удаляются автоматически.
FOREIGN KEY (snapshot_id)
REFERENCES snapshots(id)
ON UPDATE CASCADE
ON DELETE CASCADE,
-- Нельзя удалить blob, если он где-то используется; обновление ключа запрещено.
FOREIGN KEY (sha256)
REFERENCES blobs(sha256)
ON UPDATE RESTRICT
ON DELETE RESTRICT
)
},
q{
-- Быстрый выбор всех чанков конкретного снимка (частый запрос).
CREATE INDEX IF NOT EXISTS idx_snapshot_chunks_snapshot
ON snapshot_chunks(snapshot_id)
},
q{
-- Быстрый обратный поиск: где используется данный blob (для GC/аналитики).
CREATE INDEX IF NOT EXISTS idx_snapshot_chunks_sha
ON snapshot_chunks(sha256)
},
// -- ------------------------------------------------------------
// -- Триггеры для управления refcount и GC blob'ов
// -- ------------------------------------------------------------
q{
-- Инкремент счётчика при привязке чанка к снимку.
-- Обновляем last_seen_utc, чтобы фиксировать "живость" контента.
CREATE TRIGGER IF NOT EXISTS trg_snapshot_chunks_ai
AFTER INSERT ON snapshot_chunks
BEGIN
UPDATE blobs
SET refcount = refcount + 1,
last_seen_utc = CURRENT_TIMESTAMP
WHERE sha256 = NEW.sha256;
END
},
q{
-- Декремент счётчика при удалении строки состава.
-- Если счётчик стал 0 - удаляем неиспользуемый blob (авто-GC).
CREATE TRIGGER IF NOT EXISTS trg_snapshot_chunks_ad
AFTER DELETE ON snapshot_chunks
BEGIN
UPDATE blobs
SET refcount = refcount - 1
WHERE sha256 = OLD.sha256;
DELETE FROM blobs
WHERE sha256 = OLD.sha256
AND refcount <= 0;
END
},
q{
-- Корректировка счётчиков при смене sha256 в составе.
-- ВАЖНО: с ON UPDATE RESTRICT на FK обновление sha256 произойти не может,
-- поэтому этот триггер сработает только если изменить поведение FK (например, на CASCADE).
CREATE TRIGGER IF NOT EXISTS trg_snapshot_chunks_au
AFTER UPDATE OF sha256 ON snapshot_chunks
BEGIN
UPDATE blobs
SET refcount = refcount - 1
WHERE sha256 = OLD.sha256;
DELETE FROM blobs
WHERE sha256 = OLD.sha256
AND refcount <= 0;
UPDATE blobs
SET refcount = refcount + 1,
last_seen_utc = CURRENT_TIMESTAMP
WHERE sha256 = NEW.sha256;
END
}
]; ];

2
test/app.d
View file

@ -7,5 +7,5 @@ import std.file : read;
void main() void main()
{ {
auto cas = new CAS("/tmp/base.db"); auto cas = new CAS("/tmp/base.db");
cas.saveSnapshot(cast(ubyte[]) read("/tmp/text")); cas.saveSnapshot("/tmp/text", cast(ubyte[]) read("/tmp/text"));
} }