<div dir="ltr">Argg !!<div>With 10x10TB SATA DB and 2 SSD disks this would mean 2 TB for each SSD !</div><div>If this is really required I am afraid I will keep using filestore ...</div><div><br></div><div>Cheers, Massimo </div></div><br><div class="gmail_quote"><div dir="ltr">On Fri, Oct 5, 2018 at 7:26 AM <<a href="mailto:ceph@elchaka.de">ceph@elchaka.de</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hello<br>
<br>
Am 4. Oktober 2018 02:38:35 MESZ schrieb solarflow99 <<a href="mailto:solarflow99@gmail.com" target="_blank">solarflow99@gmail.com</a>>:<br>
>I use the same configuration you have, and I plan on using bluestore. <br>
>My<br>
>SSDs are only 240GB and it worked with filestore all this time, I<br>
>suspect<br>
>bluestore should be fine too.<br>
><br>
><br>
>On Wed, Oct 3, 2018 at 4:25 AM Massimo Sgaravatto <<br>
><a href="mailto:massimo.sgaravatto@gmail.com" target="_blank">massimo.sgaravatto@gmail.com</a>> wrote:<br>
><br>
>> Hi<br>
>><br>
>> I have a ceph cluster, running luminous, composed of 5 OSD nodes,<br>
>which is<br>
>> using filestore.<br>
>> Each OSD node has 2 E5-2620 v4 processors, 64 GB of RAM, 10x6TB SATA<br>
>disk<br>
>> + 2x200GB SSD disk (then I have 2 other disks in RAID for the OS), 10<br>
>Gbps.<br>
>> So each SSD disk is used for the journal for 5 OSDs. With this<br>
>> configuration everything is running smoothly ...<br>
>><br>
>><br>
>> We are now buying some new storage nodes, and I am trying to buy<br>
>something<br>
>> which is bluestore compliant. So the idea is to consider a<br>
>configuration<br>
>> something like:<br>
>><br>
>> - 10 SATA disks (8TB / 10TB / 12TB each. TBD)<br>
>> - 2 processor (~ 10 core each)<br>
>> - 64 GB of RAM<br>
>> - 2 SSD to be used for WAL+DB<br>
>> - 10 Gbps<br>
>><br>
>> For what concerns the size of the SSD disks I read in this mailing<br>
>list<br>
>> that it is suggested to have at least 10GB of SSD disk/10TB of SATA<br>
>disk.<br>
>><br>
>><br>
>> So, the questions:<br>
>><br>
>> 1) Does this hardware configuration seem reasonable ?<br>
>><br>
>> 2) Are there problems to live (forever, or until filestore<br>
>deprecation)<br>
>> with some OSDs using filestore (the old ones) and some OSDs using<br>
>bluestore<br>
>> (the old ones) ?<br>
>><br>
>> 3) Would you suggest to update to bluestore also the old OSDs, even<br>
>if the<br>
>> available SSDs are too small (they don't satisfy the "10GB of SSD<br>
>disk/10TB<br>
>> of SATA disk" rule) ?<br>
<br>
AFAIR should the db size 4% of the osd in question.<br>
<br>
So <br>
<br>
For example, if the block size is 1TB, then block.db shouldn’t be less than 40GB<br>
<br>
See: <a href="http://docs.ceph.com/docs/master/rados/configuration/bluestore-config-ref/" rel="noreferrer" target="_blank">http://docs.ceph.com/docs/master/rados/configuration/bluestore-config-ref/</a><br>
<br>
Hth<br>
- Mehmet <br>
<br>
>><br>
>> Thanks, Massimo<br>
>> _______________________________________________<br>
>> ceph-users mailing list<br>
>> <a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
>> <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
>><br>
_______________________________________________<br>
ceph-users mailing list<br>
<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
<a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
</blockquote></div>