<div dir="ltr"><div>Why didn't you just install the DB + WAL on the NVMe?  Is this "data disk" still an ssd?</div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 3:34 PM David Turner <<a href="mailto:drakonstein@gmail.com">drakonstein@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">And by the data disk I mean that I didn't specify a location for the DB partition.</div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 4:06 PM David Turner <<a href="mailto:drakonstein@gmail.com" target="_blank">drakonstein@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Track down where it says they point to?  Does it match what you expect?  It does for me.  I have my DB on my data disk and my WAL on a separate NVMe.</div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 3:21 PM Robert Stanford <<a href="mailto:rstanford8896@gmail.com" target="_blank">rstanford8896@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div> David - is it ensured that wal and db both live where the symlink block.db points?  I assumed that was a symlink for the db, but necessarily for the wal, because it can live in a place different than the db.<br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 2:18 PM David Turner <<a href="mailto:drakonstein@gmail.com" target="_blank">drakonstein@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">You can always just go to /var/lib/ceph/osd/ceph-{osd-num}/ and look at where the symlinks for block and block.wal point to.</div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 12:29 PM Robert Stanford <<a href="mailto:rstanford8896@gmail.com" target="_blank">rstanford8896@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><br></div><div> That's what they say, however I did exactly this and my cluster utilization is higher than the total pool utilization by about the number of OSDs * wal size.  I want to verify that the wal is on the SSDs too but I've asked here and no one seems to know a way to verify this.  Do you?</div><div><br></div><div> Thank you, R<br></div></div><br><div class="gmail_quote"><div dir="ltr">On Mon, Oct 22, 2018 at 5:22 AM Maged Mokhtar <<a href="mailto:mmokhtar@petasan.org" target="_blank">mmokhtar@petasan.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><br>
If you specify a db on ssd and data on hdd and not explicitly specify a <br>
device for wal, wal will be placed on same ssd partition with db.<br>
Placing only wal on ssd or creating separate devices for wal and db are <br>
less common setups.<br>
<br>
/Maged<br>
<br>
On 22/10/18 09:03, Fyodor Ustinov wrote:<br>
> Hi!<br>
><br>
> For sharing SSD between WAL and DB what should be placed on SSD? WAL or DB?<br>
><br>
> ----- Original Message -----<br>
> From: "Maged Mokhtar" <<a href="mailto:mmokhtar@petasan.org" target="_blank">mmokhtar@petasan.org</a>><br>
> To: "ceph-users" <<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a>><br>
> Sent: Saturday, 20 October, 2018 20:05:44<br>
> Subject: Re: [ceph-users] Drive for Wal and Db<br>
><br>
> On 20/10/18 18:57, Robert Stanford wrote:<br>
><br>
><br>
><br>
><br>
> Our OSDs are BlueStore and are on regular hard drives. Each OSD has a partition on an SSD for its DB. Wal is on the regular hard drives. Should I move the wal to share the SSD with the DB?<br>
><br>
> Regards<br>
> R<br>
><br>
><br>
> _______________________________________________<br>
> ceph-users mailing list [ mailto:<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a> | <a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a> ] [ <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a> | <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a> ]<br>
><br>
> you should put wal on the faster device, wal and db could share the same ssd partition,<br>
><br>
> Maged<br>
><br>
> _______________________________________________<br>
> ceph-users mailing list<br>
> <a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
> <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
> _______________________________________________<br>
> ceph-users mailing list<br>
> <a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
> <a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
<br>
_______________________________________________<br>
ceph-users mailing list<br>
<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
<a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
</blockquote></div>
_______________________________________________<br>
ceph-users mailing list<br>
<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
<a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
</blockquote></div>
</blockquote></div>
</blockquote></div>
</blockquote></div>
_______________________________________________<br>
ceph-users mailing list<br>
<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
<a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
</blockquote></div>