<div><span style="color:rgb(49,49,49);word-spacing:1px;background-color:rgb(255,255,255)">ceph osd destroy 70  --yes-i-really-mean-it</span></div><div dir="auto"><span style="color:rgb(49,49,49);word-spacing:1px;background-color:rgb(255,255,255)"><br></span></div><div dir="auto"><span style="color:rgb(49,49,49);word-spacing:1px;background-color:rgb(255,255,255)">I am guessing that’s a copy and paste mistake and should say 120.</span></div><div dir="auto"><span style="color:rgb(49,49,49);word-spacing:1px;background-color:rgb(255,255,255)"><br></span></div><div dir="auto"><span style="color:rgb(49,49,49);word-spacing:1px;background-color:rgb(255,255,255)">Is the SSD @ /dev/sdh fully for the OSD120 is a partition on this SSD the journal and other partitions are for other SSD’s?</span></div><div><br><div class="gmail_quote"><div dir="ltr">On Wed, 7 Nov 2018 at 11:21 PM, Hayashida, Mami <<a href="mailto:mami.hayashida@uky.edu">mami.hayashida@uky.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">I would agree with that.  So, here is what I am planning on doing today.  I will try this from scratch on a different OSD node from the very first step and log input and output for every step.  Here is the outline of what I think (based on all the email exchanges so far) should happen.  <div><br></div><div>*******</div><div>Trying to convert osd.120 to Bluestore.  Data is on /sda/sdh.   Filestore Journal is on a partition drive (40GB) on /dev/sda.  </div><div><br></div><div><div>#Mark those OSDs out</div><div>ceph osd out 120</div><div><br></div><div># Stop the OSDs</div><div>systemctl kill ceph-osd@120</div><div><br></div><div># Unmount the filesystem</div><div>sudo umount /var/lib/ceph/osd/ceph-120</div><div><br></div><div># Destroy the data</div><div>ceph-volume lvm zap /dev/sdh --destroy   # data disk</div><div>ceph-volume lvm zap /dev/sda --destroy   # ssd for wal and db</div><div><br></div><div># Inform the cluster</div><div>ceph osd destroy 70  --yes-i-really-mean-it</div><div><br></div><div># Check all the /etc/fstab and /etc/systemd/system to make sure that all the references to the filesystem is gone. Run</div><div>ln -sf /dev/null /etc/systemd/system/ceph-disk@70.service </div><div><br></div><div># Create PVs, VGs, LVs </div><div>pvcreate /dev/sda<span style="white-space:pre-wrap"> </span># for wal and db</div><div>pvcreate /dev/sdh<span style="white-space:pre-wrap">        </span># for data</div><div><br></div><div>vgcreate ssd0 /dev/sda<span style="white-space:pre-wrap">                </span></div><div>vgcreate hdd120  /dev/sdh</div><div><br></div><div>lvcreate -L 40G -n db120 ssd0</div><div>lvcreate -l 100%VG data120 hdd120</div><div><br></div><div># Run ceph-volume</div><div>ceph-volume lvm prepare --bluestore --data hdd120/data120 --block.db ssd0/db120  --osd-id 120 </div><div><br></div><div># Activate</div><div>ceph-volume lvm activate 120 <osd fsid></div></div><div><br></div><div>******</div><div>Does this sound right?</div></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Nov 6, 2018 at 4:32 PM, Alfredo Deza <span dir="ltr"><<a href="mailto:adeza@redhat.com" target="_blank">adeza@redhat.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">It is pretty difficult to know what step you are missing if we are<br>
getting the `activate --all` command.<br>
<br>
Maybe if you try one by one, capturing each command, throughout the<br>
process, with output. In the filestore-to-bluestore guides we never<br>
advertise `activate --all` for example.<br>
<br>
Something is missing here, and I can't tell what it is.<br>
<div class="m_1314811855035962973HOEnZb"><div class="m_1314811855035962973h5">On Tue, Nov 6, 2018 at 4:13 PM Hayashida, Mami <<a href="mailto:mami.hayashida@uky.edu" target="_blank">mami.hayashida@uky.edu</a>> wrote:<br>
><br>
> This is becoming even more confusing. I got rid of those ceph-disk@6[0-9].service (which had been symlinked to /dev/null).  Moved /var/lib/ceph/osd/ceph-6[0-9] to  /var/...../osd_old/.  Then, I ran  `ceph-volume lvm activate --all`.  I got once again<br>
><br>
> root@osd1:~# ceph-volume lvm activate --all<br>
> --> Activating OSD ID 67 FSID 17cd6755-76f9-4160-906c-1bf13d09fb3d<br>
> Running command: mount -t tmpfs tmpfs /var/lib/ceph/osd/ceph-67<br>
> --> Absolute path not found for executable: restorecon<br>
> --> Ensure $PATH environment variable contains common executable locations<br>
> Running command: ceph-bluestore-tool --cluster=ceph prime-osd-dir --dev /dev/hdd67/data67 --path /var/lib/ceph/osd/ceph-67<br>
>  stderr: failed to read label for /dev/hdd67/data67: (2) No such file or directory<br>
> -->  RuntimeError: command returned non-zero exit status: 1<br>
><br>
> But when I ran `df` and `mount` ceph-67 is the only one that exists. (and in  /var/lib/ceph/osd/)<br>
><br>
> root@osd1:~# df -h | grep ceph-6<br>
> tmpfs           126G     0  126G   0% /var/lib/ceph/osd/ceph-67<br>
><br>
> root@osd1:~# mount | grep ceph-6<br>
> tmpfs on /var/lib/ceph/osd/ceph-67 type tmpfs (rw,relatime)<br>
><br>
> root@osd1:~# ls /var/lib/ceph/osd/ | grep ceph-6<br>
> ceph-67<br>
><br>
> But in I cannot restart any of these 10 daemons (`systemctl start ceph-osd@6[0-9]`).<br>
><br>
> I am wondering if I should zap these 10 osds and start over although at this point I am afraid even zapping may not be a simple task....<br>
><br>
><br>
><br>
> On Tue, Nov 6, 2018 at 3:44 PM, Hector Martin <<a href="mailto:hector@marcansoft.com" target="_blank">hector@marcansoft.com</a>> wrote:<br>
>><br>
>> On 11/7/18 5:27 AM, Hayashida, Mami wrote:<br>
>> > 1. Stopped osd.60-69:  no problem<br>
>> > 2. Skipped this and went to #3 to check first<br>
>> > 3. Here, `find /etc/systemd/system | grep ceph-volume` returned<br>
>> > nothing.  I see in that directory<br>
>> ><br>
>> > /etc/systemd/system/ceph-disk@60.service    # and 61 - 69.<br>
>> ><br>
>> > No ceph-volume entries.<br>
>><br>
>> Get rid of those, they also shouldn't be there. Then `systemctl<br>
>> daemon-reload` and continue, see if you get into a good state. basically<br>
>> feel free to nuke anything in there related to OSD 60-69, since whatever<br>
>> is needed should be taken care of by the ceph-volume activation.<br>
>><br>
>><br>
>> --<br>
>> Hector Martin (<a href="mailto:hector@marcansoft.com" target="_blank">hector@marcansoft.com</a>)<br>
>> Public Key: <a href="https://mrcn.st/pub" rel="noreferrer" target="_blank">https://mrcn.st/pub</a><br>
><br>
><br>
><br>
><br>
> --<br>
> Mami Hayashida<br>
> Research Computing Associate<br>
><br>
> Research Computing Infrastructure<br>
> University of Kentucky Information Technology Services<br>
> 301 Rose Street | 102 James F. Hardymon Building<br>
> Lexington, KY 40506-0495<br>
> <a href="mailto:mami.hayashida@uky.edu" target="_blank">mami.hayashida@uky.edu</a><br>
> (859)323-7521<br>
</div></div></blockquote></div><br><br clear="all"><div><br></div>-- <br><div class="m_1314811855035962973gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><b style="font-size:12.8px">Mami Hayashida</b><br></div><div><i>Research Computing Associate<br></i><br></div><div>Research Computing Infrastructure<br>University of Kentucky Information Technology Services <br>301 Rose Street | 102 James F. Hardymon Building<br>Lexington, KY 40506-0495<br><a href="mailto:mami.hayashida@uky.edu" target="_blank">mami.hayashida@uky.edu</a><br>(859)323-7521</div></div></div></div></div></div></div></div></div>
</div>
_______________________________________________<br>
ceph-users mailing list<br>
<a href="mailto:ceph-users@lists.ceph.com" target="_blank">ceph-users@lists.ceph.com</a><br>
<a href="http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com" rel="noreferrer" target="_blank">http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com</a><br>
</blockquote></div></div>