Хранение данных на ленточных накопителях для Home-Lab

Предисловие

Днём я работаю системным администратором в компании “Максимастер”, и очень часто по работе мы сталкиваемся с относительно большими массивами данных. Например, у одного из клиентов есть хранилище записей аудиовызовов их call-центра в несколько терабайт, которое нужно хранить в горячем и холодном режиме. У другого есть постоянно растущий файловый архив на 40+ терабайт, где горячими данными являются только 10 последних, а остальные требуют долгосрочного хранения. Некоторым нужно иметь бекап на “отчуждаемых носителях” в сейфе, которые легко извлечь и можно долго хранить. Резервное копирование - востребованная услуга, которую мы часто предоставляем нашим клиентам.

В свободное от работы время я иногда занимаюсь постройкой своей домашней лаборатории. И зачастую у меня возникает необходимость сохранять большие объемы данных куда-либо. А в свете того что в последнее время производятся массовые блокировки зарубежных интернет ресурсов, и дальнейшая судьба глобального интернета в России мне не совсем ясна, то также порой возникает желание сделать резервную копию некоторых крупных интернет-ресурсов. 
Всё это требует больших и очень больших объемов накопителей. Жесткие диски могли бы решить эту проблему в краткосрочной перспективе, но по стоимости на ТБ данных они некомфортны. 
Поэтому я решил построить в своей домашней лаборатории маленькую ленточную библиотеку, которая призвана решить проблемы дешевого и длительного хранения больших и очень больших объемов данных.

И сегодня мы с вами рассмотрим такой носитель информации как магнитная лента.

Издревле, начиная с пятидесятых годов прошлого века в компьютерных системах очень широко используется магнитная лента для хранения информации. 

IBM 729 Tape Drive (объем хранимой информации до 15Мб) технология 1950..1960х годов.

Этот носитель пришёл на смену перфокартам которые были надежны, но громоздки и неудобны для хранения больших объёмов информации и программ. На сегодняшний момент современные магнитные ленты позволяют сохранять на одной катушке десятки терабайт информации.

Вводная в технологию

Главный плюс ленточных накопителей в том, что цена за терабайт хранимых данных при достаточно большом объеме данных, ниже чем у любого другого типа накопителя. По этому они повсеместно применяются для бекапов и архивирования больших объемов информации.
В отличие от бытовых аудио/видеокассет, у магнитной плёнки для вычислительной техники есть ряд ключевых отличий:

• В них используется более качественная плёнка, более надёжная.
• Запись информации на ленту производятся не в две или четыре дорожки как было например с аудиокассетами, а в несколько сотен и чаще всего тысяч дорожек на ленту. Даже у старых форматов наподобие LTO-4 на ленту записывается более 800 дорожек. Это требует высокоточной механики и систем наведения в реальном времени блока головок на ленту. У более современных версий стандарта LTO, количество дорожек превышает несколько тысяч, а в наиболее свежем формате LTO-10 их уже 15 тысяч дорожек. Начиная от самых первых версий стандарта инженерам пришлось применять разные ухищрения для высокоточного наведения головки на ленту, чтобы каждое смещение или вибрация ленты отслеживалась блоком головок. К примеру в приводах IBM применяется головка с двойной системой позиционирования, где основное шасси позиционируется с помощью червячного механизма, а высокоточное позиционирование осуществляется благодаря системе магнитной левитации блока головок.
• Скорость движения ленты при чтении/записи очень высока! Если к примеру в аудиокассетах скорость движения ленты измерялась несколькими сантиметрами в секунду, то у LTO ленты скорость рабочего хода превышает 3 м/с. Это создает высокие требования к механике стримера.
• В отличие от бытовых аудио/видеокассет, LTO картридж содержит в себе только одну катушку. При этом вторая катушка находится в самом стримере, и есть механизм захвата ленты из картриджа, пропуска её через весь механизм стримера, и наматывание ее на приёмную катушку. У каждого производителя этот механизм сделан по-своему, у кого-то это механизм сопряжения двух лент и намотки, как у HP/Quantum, у кого-то это хитрая система захвата лидер-пина из картриджа и механического пропуска ленты через механизм. Эти ухищрения позволяют сделать LTO картриджи максимально компактными, которые удобно хранить, оптимально утилизируя объем.

На данный момент производителей ленты всего два, эта компания Fujifilm и Sony. И также по большому счету всего два производителя стримеров, это технология компании Quantum которая к примеру активно используется в компании HP, и компания IBM производящая свои собственные стримеры по собственной технологии.
Но чисто внешне, все они очень схожи, поскольку стандарт един для всех.

По большому счёту между лентами Fujifilm и Sony нет особой разницы они все хороши. Все остальные картриджи, такие как DELL, IBM, StorageTek, и т.д., это на самом деле просто перемаркировка под себя ленты Fujifilm и Sony. К примеру доподлинно известно что картриджи IBM LTO-4 содержит в себе ленту Fujifilm. ID настоящего производителя ленты, ее тип и заводской серийный номер, среди прочего можно считать из чипа LTO-CM.

А вот между стримерами разница есть!

• Технология компании HP/Quantum - на мой взгляд, это по сути усовершенствованная версия механики формата DLT, и мне показалось что в данных стримерах основной упор делается не на надёжность, а на дешевизну. Что катастрофически плохо.
• Стримеры IBM выглядят куда более надежными как с механической так и с электрической точки зрения. Все основные шестеренки армированы высокопрочным стекловолокном или карбоном, механизм захвата лидер-пина и протяжки ленты более надежный, механизм очистки головки от пыли значительно более продвинутый, система наведения головки мне тоже показалось более технологичной. Да чёрт, даже роликов через которые пропускается лента и тех не пожалели их четыре у IBM а не два как у Quantum/HP, что потенциально позволяет поддерживать более стабильное положение ленты в пространстве.

Ещё один важный фактор отличия стримеров enterprise класса от любой бытовой техники является то, что большинство подключается к компьютеру не с помощью USB или подобных портов, а с помощью портов enterprise класса, таких как: Fibre channel, SAS, SCSI LVD.

Кабель EMC Mini HDX4 SAS SFF-8644 to Mini SAS SFF-8088 cable 2M (038-003-810)

Это означает что без HBA адаптера их невозможно подключить к ПК. На рынке есть несколько моделей стримеров с интерфейсом Thunderbolt и USB и подобными, но они не распространены. По большому счёту вам придётся купить HBA адаптер, а также специализированный кабель к нему.
 

Картриджи

Конструктивно сам картридж представляет из себя катушку с очень тонкой, плотно намотанной лентой, которой в зависимости от версии стандарта на катушке около 1 км. На приемном конце ленты закреплен металлический штифт, так называемый “лидер пин”, его механизм стримера захватывает и цепляясь за него, протягивает ленту на приёмную катушку, затем наматывает.

В каждом картридже стандарта LTO присутствует RFID метка LTO-CM хранящая в себе множество данных о типе картриджа и его истории, что в том числе позволяет стримеру принять решение, безопасно ли такую ленту в себя загружать, или-же её необходимо незамедлительно извлечь без попытки загрузки. Есть механизм предотвращающий проворачивание катушки с лентой в картридже в моменты когда он извлечен из стримера. То есть катушка вне стримера просто-напросто блокируется. Также присутствует некоторое натяжение ленты на катушке в картридже. А в остальном по большому счёту там особо больше ничего и нет. Ну разве что, шторка закрывающая доступ к ленте, механический переключатель защиты от записи, и небольшая пружина для лидер пина.

Теперь попробуем порассуждать про надёжность

По заявлениям производителя, картриджи позволяют сохранять информацию на протяжении 30 лет. И возможно это правда, так как лента достаточно высококачественная. Её не нужно раз в полгода перематывать как бытовую. Просто записал положил на полку и забыл.

Но есть ряд правил, которые признают картридж негодным:

• При падении с высоты 1 м или более, картридж запрещено вставлять в стример и необходимо немедленно утилизировать чтобы избежать поломки стримера.
• После 200 циклов полного чтения/записи, или 200 циклов вставки картриджа (тут рекомендации от разных производителей расходятся) картридж необходимо немедленно утилизировать, чтобы избежать поломки стримера.
• Картриджи необходимо хранить строго вертикально, с контролем влажности и температуры.
• В случае неправильного расположения лидер пина, картридж необходимо незамедлительно утилизировать, чтобы избежать поломки стримера.
• В случае обнаружения увеличения размеров щелей или других дефектов картриджа, как вы уже догадались картридж необходимо незамедлительно утилизировать.

Естественно вся утилизация происходит вместе с информацией на картридже, которая очевидно тоже утилизируется, сюрприз! Этими правилами на самом деле часто пренебрегают и кустарными методами восстанавливают картридж. Но вероятность поломки стримера при этом возрастает, поскольку в стримере куча мала сложной механики.

Стримеры, это тоже расходный материал.

IBM ULT3580-TD4 Tape Drive (обьем хранимой информации 800Гб) технология 2007-2009х годов.

Дело в том что данная технология несмотря на все ухищрения производителей очень сильно боится пыли. Поскольку элементы чтения/записи в головке буквально микроскопические их там очень много, а скорости движения ленты очень высоки, то головку очень легко повредить даже обыкновенной пылью. К тому-же пыль образовывается и от износа самой пленки. Для понимания проблемы, даже у относительно старого формата LTO-4 на головке содержится аномально высокое количество элементов чтения/записи. Конструктивно каждая головка содержит в себе два ряда элементов чтения/записи, каждый ряд содержит по 16 головок чтения/записи, и более пяти головок отслеживания серво-треков. В результате на головке более 40 элементов чтения/записи и отслеживания. Из-за этого головка подключена к плате стримера с помощью огромных многожильных гибких полиамидных шлейфов, в которых можно легко насчитать более сотни электрических проводников.

Головка - это самой высокоточный и самый нежный элемент стримера, который чаще всего выходит из строя.

Но именно благодаря двум рядам элементов чтения/записи, стример может мгновенно верифицировать те данные, которые он только-что записал на ленту. Дополнительная верификация, как например в случае с оптическими дисками, ему не требуется.

Чистящие картриджи

Нельзя не вспомнить и про “чистящие картриджи”. Несмотря на то, что каждый стример IBM 3580 снабжен специальной щеткой, для автоматической очистки головки, этого не достаточно. Со временем головка все равно загрязняется, тогда стример требует вставить “чистящий картридж”. Чтобы стример начал с ошибками читать и писать, достаточно слоя всего в нескольких микрон грязи на головке. Чистящий картридж, это специальный картридж с абразивной лентой, который удаляет налипшую грязь, и заодно с этим полирует головку. А со временем и стачивает её, приводя её в негодность, сюрприз!

Ресурс абразивной ленты, тоже не бесконечен, это типично 50 чисток, после чего картридж будет отвергнут стримером и чистка не будет произведена, пока не будет вставлен новый чистящий картридж. Данные о чистках подсчитываются в памяти LTO-CM чипа.

Наработка на отказ

Типично по заявлениям производителя стримеры должны в среднем служить около 250.000 часов, однако живого стримера который отработал хотя бы половину этого срока я ещё не встречал, они все трупы, требующие ремонта. Поэтому я склонен думать, что несмотря на высокую надёжность самой ленты, надёжность системы в целом остаётся под вопросом.
В случае если в комплекте со стримером также идёт ленточная библиотека, содержащая в себе немало механики, то надежность системы в целом ещё понижается. Однако ленточная библиотека в дополнение к стримеру, отличный и очень удобный инструмент.

Поэтому я для себя выбрал путь когда у меня есть одна основная библиотека с одним основным рабочим стримером, в резерве есть вторая такая же библиотека, с таким же стримером, и в резерве к этому всему есть ещё несколько таких же стримеров. Короче говоря, целый стримерный парк!

Но к сожалению без него, мне кажется невозможным обеспечить высокую надежность системы в целом. 
В сравнении с современными жесткими дисками или SSD, даже с учётом всех проблем стримерной технологии, по надёжности она на несколько голов выше их. Связано это с тем, что к примеру в современных жёстких дисках при выходе из строя механики или электроники, абсолютно невозможно вынуть “блины” из коробки, вставить их в новый рабочий жесткий диск и считать данные. А со стримером это не только возможно, но и является типовым действием, когда картридж с лентой может быть вынут из одного стримера или библиотеки при поломке и вставлен в другую.

Именно благодаря модульности, возможности горячей замены запасных частей системы хранения информации, и с сохранение доступа к информации, стримерная технология более надежна и рулит.

Проблема только в том, что каждые 3-4 года поколение LTO сменяется. Со временем прежние версии стандарта LTO объявляются устаревшими. Производители не только перестают выпускать стримеры старых версий и обновлять прошивки, но и нещадно со своих сайтов вырезают прошивки, мануалы, и драйверы. Как пример, я для своей домашней лаборатории выбрал как основную версию LTO 3 и 4, обе эти версии - это стандарт 2005-2009 года, однако новые стримеры LTO-3 и LTO-4 уже невозможно купить, несмотря на то, что 30 лет с момента выпуска этих версий стандарта еще не прошло.

По сути, без навыков ремонта, без базы запчастей, без электротехнической лаборатории высокого класса, без времени на всё это, ленты стандарта LTO в принципе не способны выдержать испытание временем на протяжении 30 лет. В периоде, лет так 10, да, новейшие стандарты LTO вполне юзабельны! Но все стримеры, библиотеки и ленты должны быть со временем однозначно заменены на более новые версии данного стандарта.

Вообще говоря, я замечаю такие моменты, когда стример уже выходит из строя, при чтении записи у него много ошибок, он еле живой, но упорно, до последнего продолжает стараться писать и читать картриджи. Если в процессе записи возникают ошибки, он это замечает и мгновенно сбойный блок на ленте записывает повторно до тех пор пока запись не завершится успехом. В результате, даже полуживой стример может записать данные на ленту, иногда даже без особой потери скорости, но при этом объём ленты несколько уменьшится из-за большого количества повторных записей сбойных блоков. Тем не менее данная лента будет надежно читаться на исправных стримерах.

Библиотеки

IBM 3573 Tape Library (также известная как IBM TS3100, DELL TL2000, Tandberg NEOSeries и т.д.)

Библиотека же, очень интересная сущность. В них используются по большей части абсолютно те же самые стримеры, которые используются и standalone. Но стример подключается к библиотеке дополнительным шлифом, и через интерфейс RS-422 объединяется с библиотекой в единое целое.

К персональному компьютеру или серверу стример подключается только через свой интерфейс, но при этом и стример и библиотека управляются через этот интерфейс как единое целое. Библиотека передаёт стримеру данные о маркировке картриджа считанные с помощью лазерного датчика, стример передает библиотеке данные о том исправен картридж или нет, они могут друг другу обновлять прошивки, и тому подобное. 

При работе с ленточной библиотекой, ты говоришь стримеру какой картридж в библиотеке куда переместить и что конкретно сделать, стример это сообщает контроллеру библиотеки, робот библиотеки это выполняет и Profit! Поэтому библиотечный стример не стоит рассматривать как отдельную сущность, это единый комплекс с библиотекой. Некоторыми ухищрениями, иногда удается переключить в библиотечный стример standalone режим, и использовать его установив в ПК или сервер. По сути электрически, механически и программно, библиотечный стример отличается от standalone версии только тем, что у него нет лицевой панели, а также он установлен в специализированные салазки с контроллером для библиотеки и вентилятором. Поэтому многие энтузиасты предпочитают покупать библиотечные стримеры и переделывать их в standalone.

Сама ленточная библиотека, удобна тем, что благодаря скрипту написанным на любом языке программирования возможно автоматически заменять картриджи в стримере при создании многотомных архивов и автоматизировать ручную рутину.
Именно ленточные библиотеки активно используется в enterprise в сегменте для резервного копирования. Типичная библиотека высотой в 2 юнита позволяет загружать в себя 22 картриджа для данных. Более крупные библиотеки позволяют загружать в себя несколько сотен а иногда даже тысяч картриджей.

Но есть нюанс! Поскольку работа с библиотекой автономна и автоматизирована, а головку стримера время от времени нужно чистить, в библиотеку обязательно должен быть загружен как минимум один специализированный чистящий картридж. Специальные порты ввода-вывода картриджей тоже должны быть пусты, для правильной работы с библиотекой.

В результате, типична картина когда покупается библиотека на 24 картриджа но при этом использовать можно только 22, поскольку в один слот недоступный для программного обеспечения загружен чистящий картридж, который библиотека использует по своему усмотрению, а также присутствует один слот для порта ввода-вывода картриджей из библиотеки который также свободен. 

Библиотеки с большим количеством слотов, снабжаются большим количеством портов быстрого ввода-вывода картриджей, и типично в них загружается больше чистящих картриджей. Грубо говоря, где-то 10% слотов библиотеки не используются для хранения данных.

Многие библиотеки удобны тем, что поддерживают не одно поколение LTO, а сразу несколько. К примеру в библиотеку IBM 3573, можно устанавливать стримеры половинный или полной высоты, начиная от версии LTO-3 и заканчивая версией LTO-8. А поскольку сами картриджи LTO имеют унифицированный габарит, который не меняется от версии к версии, с их заменой в библиотеке на более новые, тоже нет проблем.

Минусы

Но говоря о плюсах стримерной технологии, нельзя не сказать о её минусах. Основной минус заключается в том, что количество циклов прогона ленты через стример ограничено, и каждый прогон увеличивает её износ. Также огромным минусом является то, что к ленте практически невозможен случайный доступ. Банальная операция чтения файла может потребовать от нескольких минут до нескольких часов, вне зависимости от объёма файла. Строго говоря стримерная технология, это технология для неторопливых. Даже несмотря на то что скорости линейного чтения/записи с ленты достаточно высоки.(LTO-3: 80 Мб/с, LTO-4: 120 Мб/с…… LTO-10: >1 Гб/с) Связано это с тем, что лента очень длинная и её приходится перематывать несколько раз для поиска файла, т.к. в ряде случаев программное обеспечение не знает где находится файл на ленте и приходится просматривать всю ленту. Цена новых стримеров и новых лент это вообще отдельная тема. Оно подъемно только для крупных enterprise решений, и экономически выгодно только когда объемы данных очень велики. Ради архивирования десятка терабайт, нет большого смысла вкладывать миллионы в новое LTO железо, но когда речь заходит о хранении сотен терабайт данных и более, тогда цена терабайта данных на ленте начинает быть очень выгодной. Несравнимо выгодной относительно любого другого вида накопителей.

Практика

Когда я подбираю ленточные накопители заказчику, к примеру для целей бэкапа, я выбираю новейшие версии этого стандарта, при этом точно знаю, что в ближайшей обозримой перспективе у заказчика не будет проблем с заменой запчастей и обновлением программного обеспечения. А когда условные лет 10 пройдут стримерный парк заказчика однозначно устареет и неизбежно потребует обновления. Для бизнеса это нормально.
Но данный цикл статей предназначен для энтузиастов-ценителей IT технологий. Поэтому сейчас мы с вами соберём для личных нужд, дома, за сущие копейки целый стримерный парк, библиотечный зоопарк, и полный шкаф набитый лентами, всё это запустим, запишем и Profit!

Мой выбор версии стандарта LTO для домашних нужд, пал на третье и четвёртое поколение. Данные поколения уже безнадежно устарели для enterprise и аппаратное обеспечение к ним продаётся за еду. То что нужно, когда нет в кармане лишних пару миллионов рублей на всё это)))

Поэтому я купил на барахолке несколько сломанных стримеров, починил их, докупил к ним сломанные библиотеки, их тоже починил, и купил целый шкаф “new old stock” картриджей. 
Очень многие компании покупают картриджи про запас, но со временем они морально устаревают для целей big data, и становится не нужны. Поэтому на барахолке очень легко найти сотню-другую картриджей с которых даже не снимали никогда заводскую обертку.
В среднем для стандарта LTO-4 реально приобрести “new old stock” ленты из расчёта 1000 руб на 1 ТБ и даже дешевле.

Грубо говоря, терабайты можно покупать «на развес».

Парк библиотек и стримеров с избыточностью, можно приобрести примерно за 30…50.000 руб. Но при этом надо обязательно иметь навыки ремонта, пайки, детальки, микроскоп, реактивы, и желание несколько вечеров провести в попытках ремонта купленной техники. Всё потому, что практически всё что продаётся на вторичном рынке неисправно, даже в случае если продавец предъявляет хорошие результаты тестов, по факту оказывается что стример близок к своему концу. Такие ситуации я встречал много раз. Но чаще всего, продавцы прикидываются дурачками и говорят что не знают даже как включить стример. Короче, на исправную технику на вторичном рынке я рекомендую вообще не рассчитывать.

Но для меня это очень весёлое и интересное времяпрепровождение. Но конечно же заказчикам такие варианты я ни в коем случае не буду рекомендовать. Им проще и надёжнее заплатить несколько миллионов каждые 6...10 лет за новую технику, и гарантированно не иметь с этим проблем.

Архитектуру обеспечивающую повышенную надежность, я для своей домашней лаборатории составил следующим образом:

Выражая словами:

• Данные храним на двух наборах пленки, зеркально.
• Имеем две идентичные полностью взаимозаменяемые библиотеки.
• Имеем 3 идентичных стримера к этим библиотекам.
• Подключаем это все хозяйство к HBA LSI SAS 9300-8e адаптеру.

В этой схеме не резервируется пожалуй только HBA-адаптер, возможно в будущем я куплю себе запасной.

Если добрая половина всей этой схемы выйдет из строя, данные можно будет как прежде считать и записать.

В случае с LTO-4, одна полная загрузка библиотеки IBM Model 3573 позволяет хранить от 17.6Тб до 35.2Тб, в зависимости от того сжимаются данные или нет. В случае с LTO-8 одна полная загрузка уже позволит хранить свыше 264Тб данных. А в шкафу по соседству, может лежать практически неограниченное количество терабайт информации на ленте.

После удаления пыли которая скопилась в стримерах и библиотеках за несколько десятков лет, после их ремонта, смазки и полного технического обслуживания в нюансы которого в рамках данной статьи я не буду углубляться, поскольку тогда данная статья увеличится ещё в несколько раз. После этого необходимо провести тестирование данной техники перед вводом в эксплуатацию. 

Тестирование

Если рассматривать стримеры IBM модель 3580, то в минимальный набор тестирования входит: 

• Проведение health-теста ITDT. Базовый тест проверяющий самые базовые функции.
• Проведение теста полной записи картриджа максимально поддерживаемого поколения, в моём случае LTO-4. Тест проверяющий режим записи и скорость записи при этом в длительной перспективе.
• Проведение теста головок в Maintenance mode. Базовый тест проверяющий головки привода.
• Анализ звука работы механики привода. На отсутствие скрежета,  соскальзывания шестерёнок, и анализ шума подшипников.

Если все эти базовые проверки проходят, привод можно проверять в комплекте с библиотекой и провести следующие тесты: 

• Провести полный тест инвентаризации, при котором каждый картридж будет извлечен из каждого слота, загружен в привод, а затем возвращен обратно в свой слот. Это полностью проверит механику робота и геометрию магазинов. К примеру если магазины имеют перекос или дефекты робот не сможет извлечь картридж из каких-то слотов и будет отображена ошибка. Заодно данный тест многократно проверяет способность привода полностью загрузить и выгрузить картридж.
• Провести базовый тест инициализации библиотеки. Это покажет явные ошибки механики или электроники.
• Провести анализ шума работы робота библиотеки, на наличие скрежета или соскальзывания шестерёнок. 

Помимо этого я обычно около недели или двух в размеренном режиме скриптом гоняю библиотеку и картриджи, таким образом чтобы в библиотека за сутки извлекала, записывала и верифицировала несколько картриджей. 

Если в процессе проведения всех этих тестов библиотека и привод показывают себя как новые, значит они годны к последующей эксплуатации. 

При этом важно обратить внимание, чтобы в логах привода и библиотеки не было абсолютно никаких ошибок, а скорости чтения записи строго соответствовали даташиту. 

Если библиотека или привод не укладываются в эти условия, то они признаются негодными к эксплуатации и подлежат дальнейшему ремонту, либо разбору на запчасти для починки следующей библиотеки или привода. 
Я считаю эти правила важными, для того чтобы использовать только ту технику которая прослужит долго.

После того как все тесты пройдены, можно приступать к эксплуатации. 

ПО

Я работаю с этими библиотеками с помощью штатного софта на базе Linux, поскольку он мне кажется наиболее надежным, по сравнению с платными проприетарными решениями для резервных копий. В моей практике много раз были случаи когда через условно 5-10 лет проприетарный софт просто отказывался читать архивы созданные им же, но более старых версий. Как пример можно привести легендарный трэш-софт от Acronis.

Вложив много усилий и немало средств в железо, я очевидно не хочу чтобы плохой софт всё это испортил. 

Операционные системы на базе Linux на протяжении многих десятилетий умеют работать с ленточными накопителями.
Как пример я всегда привожу архиватор TAR. Практически все линуксоиды работали с данным архиватором, но только немногие из них на самом деле знают почему он носит это название и для чего изначально разрабатывался.

Его название - это на самом деле сокращение от Tape ARchiver, что в переводе означает ленточный архиватор. И изначально он разрабатывался именно для записи архивов на ленту. Поскольку ленточные устройства в сути своей не имеет файловой системы, данный архиватор основное средство для работы с лентой. Да конечно существует файловая система LTFS но я ей особо не доверяю, к тому же стримеры ниже поколения LTO-5 её не поддерживают. А TAR и его формат прост как 5 копеек, и не меняется уже многие годы.

Для управления библиотекой через стример применяется утилита MTX. 

Инициализация параметров стримера а также управление лентой производится с помощью пакета mt-st. Для каждого стримера нужен свой конфиг инициализации.

Поскольку скорость даже такого старого поколения как LTO-4 составляет 120 Мб/с, часто возникают проблемы при архивации из-за того что архив с жёстких дисков, или даже с SSD дисков физически не успевает считываться с такой скоростью. Поясняю, при архивации больших файлов с любых современных жёстких или SSD дисков проблем со скоростью нет, они отлично успевают считывать и записывать данные на скорости 120 Мб/с. Но когда речь заходит о маленьких файлах к примеру PHP скрипты, javascriptы и прочие составляющие веб-сайтов, всевозможные каталоги с миллионами мелких файлов, и тем более если при этом данные поддаются компрессии, вот тогда Хьюстон у нас проблемы!!!

В этих случаях скорость чтения даже SSD дисков зачастую ниже 120 Мб/с, а если данные сжимаются, а я замечу, стример умеет аппаратно двукратно сжимать поток данных, на лету, и тогда ему требуется подавать на вход уже поток не 120 Мб/с а до 240 Мб/с. Вот тогда с очень высокой вероятностью даже SSD диск при создании такого архива уже не успеет выдавать данные с такой минимальной скоростью. Про жёсткие диски я уже не говорю.

В случае когда поток данных от хост системы к стримеру значительно ниже чем его пропускная способность, стример начинает делать остановки и перезапуски в записи на ленту. Это увеличивает износ ленты, увеличивает износ механики, и в целом увеличивают время архивирования.

Для борьбы с этим была разработана утилита mbuffer, которая буферизирует в оперативную память поток от tar или любого другого источника, и после этого передает его в стример.

Данная утилита имеет достаточно гибкие настройки, и если хост система не успевает передавать данные в стример, то благодаря большому буферу в оперативной памяти можно полностью или частично избавиться от циклов старт-стоп ленты.

Я для удобства модифицировал штатное меню midnight commander, и добавил туда базовые команды для работы с лентой, потому что как правило архивы в моей домашней лаборатории я делаю вручную выбирая те данные которые я хочу архивировать. 

Возможно в будущем одну из библиотек(возможно даже третью библиотеку), я запущу на регулярные ночные бэкапы всей инфраструктуры домашней лаборатории, но пока это только в планах. 

Работа с библиотекой сводится к простым командам, к примеру вставить картридж из слота, записать архив, извлечь картридж в слот. Множество действий, такие как замена картриджей при создании многотомных архивов у меня автоматизированы простыми скриптами. Но чтобы понять основные принципы работы с библиотекой, я не рекомендую использовать чужие скрипты и рекомендую начинать эксперименты с самых азов.

После каждой итерации записи, я предусмотрел чтобы статистика работы стримера записывалась в лог. Также у меня в лог записывается номера картриджей при создании многотомных архивов, что помогает в дальнейшем при работе с ними.

Ленточные библиотеки проводят первоначальную идентификацию картриджа путем считывания лазером штрих-кода нанесенного на картридж, так называемые VOLSER. Множество картриджей поставляется без штрих-кодов, но сгенерировать их не проблема, после чего напечатать и наклеить на торцы картриджей. В логе привода при возникновении каких-либо проблем также записывается данные штрих-кода на картридже. Благодаря тому что на борту стримера есть достаточно большие флешки, он хранит массу исторической информации о работе с картриджами. 

После записи архива я извлекаю из библиотеки записанные картриджи, переключаю на них защелку в режим защиты от записи, упаковываю в коробочки и кладу на полку для долгосрочную хранения.
Тем самым обеспечиваются еще два основных правила архивирования:

• Защита от случайной перезаписи архива.
• Воздушный зазор между сетью и архивом.

То есть по сути я использую библиотеки не как средство резервного копирования, а как средство для долговременного архивирования данных. Они нивелируют то что картриджи имеют невысокий объём порядка 800 Гб. и запись архивов в несколько терабайт проходит максимально удобно. Просто даёшь команду записать выбранные папки и забываешь на несколько часов про это, с помощью скриптов автоматически меняются картриджи, записываются логи и через несколько часов или десятков часов, ты по сути получаешь в магазине библиотеки уже готовый архив, остаётся его только вытащить записать где-то оглавление данного архива и убрать на полку.
Но это уже совсем другая история.

У меня библиотеки не работают в режиме 24/7/365, а включаются только по нужде. И дело даже не в шуме который они создают, а в том, что воздух в моей домашней лаборатории не имеет достаточной степени очистки от пыли. По этому библиотеки гонять постоянно противопоказано.

Вывод

Магнитная лента это весело, дешево и очень полезно для повышения скилла в области носителей информации. По моему мнению, она очень даже применима для домашней лаборатории. На пути от 50-х годов прошлого столетия к 30-м годам этого столетия, магнитные ленты прошли очень большой путь, и до сих пор уверенно являются “мейнстримом” систем хранения больших объемов информации. Но по моему мнению, они так-же имеют и ряд минусов, некоторые из них невозможно устранить by design, а другие можно лишь “залить деньгами”, обновляя поколение лент и стримеров постоянно. Но альтернатив по соотношению цены на терабайт, нет, и не предвидится ни в секторе хранения данных для хоум-лабы ни в enterprise секторе.