Domácí automatizace

[HonzaCZ]

Nejspíš to budou nějaký forky, ale jiný Honza to moc nezkoumal, tak třeba se ten pravý ozve Druhý Honza na to ZFS má nějakou úchylku a cpe ho všude a pak nadává, že na Linuxu, kde to nativně v kernelu není, to každou chvíli někde něco nefunguje Já mám třeba teď BTRFS, který je vlastnostma tomu asi hodně podobný a je to v linuxovym kernelu a taky mi to funguje (nicméně mě trochu sejří absence nativního šifrování, protože šifrování v jiné vrstvě má zase několik ošklivých ale...). Nicméně, jestli budeš nasazovat něco na FreeBDSM, teda, pardon, FreeBSD, tak je …

Ale kulový nefunguje. Stěžuju si hlavně na to, že už 3 verze Ubuntu ofiko nabízí ZFS a nejsou schopný udělat custom nastavení v instalátoru. Takže jediná možnost, jak nainstalov ZFS on root u Ubuntu je mu dát celej disk. Nelze třeba udělat dual boot, když už jsou nainstalovaný widle.. .to se musí složitě řešit jinak. Přitom by to bylo tak jednoduchý... Už před rokem jsem ten instalátor hackoval, aby se to nainstalovalo jako šifrovaný datasety. Ale to nemění nic na tom, že ZFS samo o sobě funguje v linuxu moc pěkně. Sám jsem včera psal, že kdybych měl reinstalovat server, tak bych si nebyl jistej, jestli už nepoužiju linux. Ono v podstatě i FreeBSD možná přejde na implementaci ZFS on Linux, protože se toho prostě chytlo mnohem víc vývojářů než jaký má kapacity vývoj FreeBSD. Nevybavuju si, co bych si ti stěžoval, že nefunguje v ZFS v Linuxu,... možná nějaký detaily sem tam. Ale úspěšně to denně používám na notesu už rok a zatím jako žádnej problém, tak nevím. Rozhodně mi ani jednou nekleklo, jako se to lidem na můj vkus dost často děje u btrfs. A ty legacy filesystémy už vůbec neberu v potaz... Tak do něčeho, co má minimální výkon a minimum RAM.

PS. A teda nevím, kdo si stěžoval, že ho btrfs už několikrát podělalo... Já u ZFS, který celkově používám přes 4 roky, ještě o žádný data nikdy nepřišel. Klep klep na dřevo.

[HonzaCZ]

Vidim spominat FreeBSD a neviem, ci sa mi chce teraz nadavat. Asi najprv dopijem pivo

Povídej, přeháněj...

[Metuzalem]

Honzo dík. Já vím, že za to nemůžeš, ale tvůj "stručný náhled" do problematiky pro mě znamená průser Protože navzdory nastaveným prioritám se tomu budu usilovně věnovat, já už se znám... Už vidím, jak si budu na jaře nadávat

[HonzaCZ]

Za málo. Jak jsem psal, ono se to v podstatě dá použít strašně snadno a až průběžně objevovat fíčury a možnosti.

[spm]

No, ono mne se to sice parkrat asi podelalo, ale na zacatku s tou novou ws, kde jsem mel problem s RAM, coz byla podle vseho ta primarni pricina... od ty doby OK. A s chybama v RAM bych podelal asi i ZFS

Odesláno z mého SM-N950F pomocí Tapatalk

[HonzaCZ]

Tak je lepší mít ECC, to je jednoznačný. V serveru je radši mám.

[Makovica]

Povídej, přeháněj...

S FreeBSD (o.i.) robim od verze 4.x, co uz je peknych par rokov a v poslednej dobe som skor nasraty z tych zmien.

V minulosti to bolo vzdy o tom, ze v podstate islo o stabilny, "tweakovatelny" server, s mierne vyssim vykonom, ako Linux na identickom HW. Pokial sa nastavil, nebolo treba do nich sahat. Nedavno som nahradzal jeden, co zil 10 rokov bez rebootu v plnom nasadeni.

Ze je podpora HW stale oneskorena voci Linuxovym distibuciam, to sa da v pripade serverov (kde inde ma FBSD vyznam?) ignorovat. Ale vadi mi ten system releasov, kedy presli na system, ze prechadzajuci release je koser len +3 mesiace po vydani nasledujuceho a potom to uz otravuje, ze mam upgradovat, preinstalovat.

Obcas spravili podla mna zbytocne zmeny v systeme portov, kde sa potom dostal clovek dostal do stavu neupgradovatelnosti instalovanych balikov, pokial to nerobil fakt poctivo a priebezne, vratane prechodu na nove X.Y verzie OS, co v pripade serverov nie je vzdy potrebne a ziaduce. Standardny system portov je inak celkovo nahovno, pokial potrebujes pracovat s nie uplne poslednymi verziami SW.

Ta zviazanost kernelu a celeho OS "worldu" neviem, ci je uplne stastne riesenie. Je to vlastnost FBSD, tak budiz.
Upgrade medzi verziami, to je trochu loteria, aj pri upgrade medzi minor verziami by sa mali prekompilovat instalovane baliky a tam kolkokrat sa natrafi na problem az po upgrade, ked uz cesta naspat nie je. To sa na produkcnych serevroch takto robit neda. A mergemaster (updatovac konfigov po upgrade) je peklo a prehistoricky SW.
Chcelo by to rolling updates.
Pri FBSD je jednoduchsie nasadzovat komplet nove instalacie, ako robit inplace upgrade.

K tomu FreeNASu - pouzivame o.i. v praci, ako storage pre backupy (okrem inych zariadeni) a podla mna to ma vyznam az pre instalacie s x0 diskami, kde sa potencial a vlastnosti ZFS dokazu vyuzit, vratane SSD kesovania, atd.
Neviem, ci vobec FreeNAS dokaze pracovat so samostatnymi diskami, ako sa vyssie spominalo. Ci tam nie je nutnost ZFS.
Pouzivame uz dlhsie FreeNAS 11.x a bez problemov. Tam to tiez netreba prehanat s upgradami. A tiez uz som tam v minulosti narazil na nepekne bugy (rebooty pri niektorej zmene v GUI). Aj preto sa nedalo ist do novsej verzie. Ak robi spravne to, co ma, tak je to zbytocne.
Ale viem si to prestavit na malom, 6-8 diskovom zariadeni aj doma.

[spm]

Tak je lepší mít ECC, to je jednoznačný. V serveru je radši mám.

Tak úplně primárně je dobrý, když ta paměť v běžnym provozu nechybuje Ale to holt byla daň za to, že jsem si jednou poprvé v životě koupil úplně nový hardware Vyladilo se to a od tý doby ok

[HonzaCZ]

Tak úplně primárně je dobrý, když ta paměť v běžnym provozu nechybuje Ale to holt byla daň za to, že jsem si jednou poprvé v životě koupil úplně nový hardware Vyladilo se to a od tý doby ok

No, tak jasně, ale asi už každej se ať už vědomě, či nevědomě setkal s chybující RAM... Mně stačilo, když jsem postavil ten server a kopíroval na něj data z všeho možnýho, kde jsem je měl do tý doby rozesetý, na kolik silent data corruption případů jsem narazil. Jako nebyly to nějaký stovky nebo tisíce souborů, ale jako pár jich bylo, přitom to bylo asi jenom 2 TB dat. Pak ještě přijít na to, jestli se špatně spočítal na zdrojovym zařízení už checksum a nebo se to až špatně přeneslo. Takže z toho vyvozuju, že prostě na běžný RAM se nedá spolehnout => je potřeba ECC. Jestli budu ještě někdy pro sebe stavět novej stolní komp, tak určitě s ECC.

Ono když ti někde přeskočí jeden bit u filmu nebo JPEGu, tak asi o moc nejde, ale když ti přeskočí u instalačního image nebo zálohy, tak už to může přinýst spousta veselostí, pokud se to trefí do nějakejch zajímavejch dat. Ideálně, pokud se to trefí do metadat filesystému. Ale to ti určitě nemusím povídat.

Nehledě na to, že consumer RAM moduly byly jednu dobu dost silně náchylný na Row hammer. Takže právě ty případy, kdy se do nich zběsile bušilo při kopírování dat, tak se mohlo stát, že něco přeskočilo. Prostě fujky. Lepší nevědět.

[HonzaCZ]

S FreeBSD (o.i.) robim od verze 4.x, co uz je peknych par rokov a v poslednej dobe som skor nasraty z tych zmien.

V minulosti to bolo vzdy o tom, ze v podstate islo o stabilny, "tweakovatelny" server, s mierne vyssim vykonom, ako Linux na identickom HW. Pokial sa nastavil, nebolo treba do nich sahat. Nedavno som nahradzal jeden, co zil 10 rokov bez rebootu v plnom nasadeni.

Jako uznávám, že to nejedu v produkci, takže spousta věcí vnímám asi jinak, i když uptime mám v podstatě 100 % a bez svých dat tak nějak taky nechci bejt.

Ale tyhle legacy systémy, co jsou třeba i odstřižený od světa prostě dělaj jenom nějakej svůj úkol a běžej 10 let bez updatů mi nejsou sympatický.

Ze je podpora HW stale oneskorena voci Linuxovym distibuciam, to sa da v pripade serverov (kde inde ma FBSD vyznam?) ignorovat. Ale vadi mi ten system releasov, kedy presli na system, ze prechadzajuci release je koser len +3 mesiace po vydani nasledujuceho a potom to uz otravuje, ze mam upgradovat, preinstalovat.

Co se týče HW, tak nedokážu posoudit. Mně vždy vše fungovalo. Resp. kecám - na jedný nějaký mini ITX desce jsem musel zkompilovat custom kernel a povolit nějakej ovladač, kterej default povolenej nebyl. Což jsem teda stejně dělal, protože v tý době jsem to používal jako router a zapínal jsem si ALTQ packet shaper v PF a chtěl jsem ho mít v kernelu. Ale dřív, když jsem měl slabý systémy a čas se s tím drbat, jsem spíš ty ovladače z kernelu zakomentovával.

To, že to prudí, abys to měl aktuální mi nevadí. Stejně chci mít poslední release. Ale chápu, že pokud máš legacy systémy, co běžej 10 let bez updatu, tak máš trochu jiný nároky. Každopádně ty varování se daj minimálně ignorovat, možná jdou i vypnout?

Obcas spravili podla mna zbytocne zmeny v systeme portov, kde sa potom dostal clovek dostal do stavu neupgradovatelnosti instalovanych balikov, pokial to nerobil fakt poctivo a priebezne, vratane prechodu na nove X.Y verzie OS, co v pripade serverov nie je vzdy potrebne a ziaduce. Standardny system portov je inak celkovo nahovno, pokial potrebujes pracovat s nie uplne poslednymi verziami SW.

Vždycky jsem vybruslil ze všech dependency hell po nějakých změnách. Holt sem tam je potřeba použít nějaký cesty oklikou, ale dá se to. Tohle je podle mě čím dál lepší.

Pracovat s neposledníma verzema se dá poměrně snadno, jsou na to nástroje - např. portdowngrade. Navíc některé tyhle problémy řeší flavours.

Pokud ti nevyhovujou porty, vždycky můžeš používat pkg.

Ta zviazanost kernelu a celeho OS "worldu" neviem, ci je uplne stastne riesenie. Je to vlastnost FBSD, tak budiz.
Upgrade medzi verziami, to je trochu loteria, aj pri upgrade medzi minor verziami by sa mali prekompilovat instalovane baliky a tam kolkokrat sa natrafi na problem az po upgrade, ked uz cesta naspat nie je. To sa na produkcnych serevroch takto robit neda. A mergemaster (updatovac konfigov po upgrade) je peklo a prehistoricky SW.
Chcelo by to rolling updates.
Pri FBSD je jednoduchsie nasadzovat komplet nove instalacie, ako robit inplace upgrade.

Jak jsem psal výš, tak můžeš používat pkg. Výhody portů jsou jasný a s tím holt souvisí i pár nevýhod.

Pokud používáš ZFS a např. beadm nebo bectl, tak je vždycky cesta zpět.

Jo, s mergemasterem je občas zábava, ale pokud člověk needituje default configy, ale využívá možnosti různých automatických include, tak to je už celkem v pohodě.

K tomu FreeNASu - pouzivame o.i. v praci, ako storage pre backupy (okrem inych zariadeni) a podla mna to ma vyznam az pre instalacie s x0 diskami, kde sa potencial a vlastnosti ZFS dokazu vyuzit, vratane SSD kesovania, atd.
Neviem, ci vobec FreeNAS dokaze pracovat so samostatnymi diskami, ako sa vyssie spominalo. Ci tam nie je nutnost ZFS.
Pouzivame uz dlhsie FreeNAS 11.x a bez problemov. Tam to tiez netreba prehanat s upgradami. A tiez uz som tam v minulosti narazil na nepekne bugy (rebooty pri niektorej zmene v GUI). Aj preto sa nedalo ist do novsej verzie. …

ZFS má potenciál a využitelný vlastnosti i na jedný partition, není potřeba snad využít všechny možný vlastnosti, co existujou. SSD kešování je fajn, doma jsem o tom uvažoval, ale na co? Na domácí použití to není potřeba. Navíc se toho dost kešuje v RAM.

Proč by neuměl FreeNAS pracovat se samostatnými disky? Resp. proč bys na samostatným disku nemohl mít ZFS? ZFS můžeš vyrobit nad jakýmkoliv blokovým streamem, včetně souboru nebo ramdisku.

To FreeBSD používáš trochu z donucení, ne? Jinak přeci můžeš přejít na něco, co ti sedne líp.

[Makovica]

Som to predtym pisal tak, ako mi to prislo do hlavy. Moc som sa nad chutovkami za tie roky nezamyslal Isto by sa cosi naslo este.
Napriklad by sa dalo pekne pobavit o setupe pri novej instalacii. Tak dementny instalator som fakt inde nevidel ... Nastastie robim nove instalacie uz len cez dump/restore klonovanie.
Vzdy ma napr. fascinovalo, ked si v nom clovek urcil root particiu (ked chcel pouzit len ten curses interface), musel jednu oznacit ako "root" , cize s mountpointom "/" a vtedy instalator spravil taku genialnu vec, ze remountol svoj vlastny root na ten tvoj a si skoncil . Takze vzdy bolo nakoniec treba rozdelit disk rucne, alebo to dat na viac rebootov.

Kernel robim custom na kazdom jednom stroji. Rovnako, ako pouzivam zasadne len kompilovane veci. Preto po tom upgrade je nutna rekompilacia vsetkeho, co nie je sucastou binarneho sveta. A to je ta ruleta. Naposledy som sa s tym babral den-dva.
Asi som uz rozmaznany z Gentoo, kde je ten komfort trochu o inom. Ale dependency hell tam vie byt radovo ineho kalibru, kedze tam ma clovek vacsiu volnost ako pri FBSD. Tam je to skor o tom ide-nejde.

S tym ZFS mas pravdu, pouzit sa da na 1 disku, tiez som uplne zabudol, ze som na jednom stroji kedysi vyrabal ZFS boot/root disk. Ale na 1 disku to degraduje moznosti ZFS. Som to ale myslel skor na FreeNAS+ZFS, ci tam vobec dovoli vytvorit nieco take cez rozhranie na 1 disku. Ale nikdy som to neskusal. Nakoniec aj samotny FreeNAS mam pocit, ze ma svoj boot image na ZFS.
Ani tak nejde o tie warningy o "zastaralom" a nepodporovanom 15mesacnom (!?!?!) systeme, ale ze mozu nieco zasadne zmenit a si v prdeli, lebo ta odkazu na novu verziu. Doma alebo pri par serveroch by som to neriesil, ale ked ich mas kopec, je to vacsi problem. Ale to je len kozmeticka hlaska, ktoru ignorujem. FBSD je stale "punkersky" system.

Mohol by som FBSD zahodit a poprechadzat, kde sa da, na nejaku odnoz Linuxu. Nakoniec, niekde bezim Gentoo aj na serveroch a na par uz zacali kolegovia tlacit Debian, ale ten sa mi moc nepaci.
Ale su tam dlhorocne odladene veci na FreeBSD a da sa s tym zit.

Celkovo sa mi zda, ze aj ta zmena release managementu aj cislovania, ze chcu jednoducho viac nahanat ich Linuxovych konkurentov a je to tak trochu na ukor kvality.

[HonzaCZ]

Já nevím, ten instalátor není zase tak děsnej. Viděls instalátor Ubuntu? Tam pokud máš jakýkoliv jiný nároky než autoři připouští, tak máš smůlu. Ani ti to nenabídne shell, abysis vyřešil, co je potřeba a přeskočil ty kroky, co tím vyřešíš.

S tím ZFS ve FreeNASu moc nevidím, proč by to nemělo jít, ale nezkoušel jsem to... Mohl bych jenom tak ze cviku nainstalovat do virtuálu a zkusit to.

Mně to tak nějak komplet sedí a ledacos tomu prominu (to je asi poznat, co? ). Tím, že měli už hodně dávno ZFS, když se o tom Linuxu ještě ani nesnilo, tím si mě ještě víc získalo. Ten filesystém jsem zkoušel poprvé už někde v roce 2008 a už tenkrát mě fakt oslovil. Bohužel jsem na to neměl v serveru HW... no v serveru... nějakej dual core atom to byl. Zajímavý na něm bylo, že procesor žral 5 W a zastaralej čipset, na kterým to bylo postavený 45 W. Ale to trochu odbočuju. Tak jsem si se ZFS holt hrál jenom ve virtuálech a postupně se s ním učil, až přišel konec roku 2016 a já si konečně ten koncepčně už dávno vymyšlenej server začal pořizovat. A tam už to šlo v plný parádě.

Jinak ZFS jedeme už i sem tam na produkčních serverech.

[podvlada]

Četl jsem to a dlouho přemýšlel, jakým jazykem to je psaný, a jestli bych se měl stydět, když tomu nerozumim... našel jsem si stručný info o ZFS a ptám se: "Proč na tohle nepřispíváme?"

[HonzaCZ]

Jako, že se ti to líbí a chceš na to finančně přispívat?

[podvlada]

No, přijde mi to z popisu jako celkem fajn, i způsob, jakym to zapisuje, že to dělá checksumy a korekce, přitom ze strany aplikací se to tváří transparentně jako kterejkoliv jinej FS, přitom to je mezivrstva, ... eh, no, vysvětluje se mi to kostrbatě, protože tomu prd rozumim, ale vypadalo to podle rychlýho popisu dobře Asi si jednou něco takovýho doma taky zařídim. Myslim komplet nějakej svůj NAS. Ale tipuju že to bude zase až tak za 5 let po tom, co to tu budete mít všichni, stejně jako s tou WiFi zásuvkou