Keluarga Diraja Sulu, adalah berketurunan dari Keluarga Diraja Brunei. Dimana, Putera Bongsu Sultan Muhammad Hassan dari isteri ke 4 nya yang merupakan seorang Puteri Sulu ( Puteri kepada Sultan Pangiran Buddinan Ul-Halim) yang juga merupakan saudara kepada Sultan Betarashah Tengah @ Panguilan Tinding. Raja Bongsu @ Pangiran Shahbandar Maharajalela ibni Sultan Muhammad Hassan, telah pergi ke Sulu dan diangkat menjadi Sultan Sulu bergelar, Sultan Mawalil Wasit I (1610 - 1650). Kemudian digantikan oleh puteranya, Sultan Salahuddin -Karamat @ Pangiran Bakhtiar dan kemudian digantikan oleh putera-putera nya Sultan Sultan Salahuddin, Sultan Mustafa Shafiuddin dan Sultan Badaruddin I.
Selepas era pemerintahan Sultan Badaruddin I ini, Waris Diraja Kesultanan Sulu menjadi 2 kelompok, yang mana keturunan dari "Isteri-Pertama" Sultan Badaruddin I seorang gadis Bugis dari Soopeng, Sulawesi telah melahirkan Datu Lagasan @ Sultan Alimuddin I @ Don Fernandi de Alimuddin - Keluarga "Pewaris Pertama" Kesultanan Sulu (*Merupakan Nenek-Moyang keluarga Kiram dan Keluarga Shakiraullah di Sulu kini ). Keluarga mereka ini dilambangkan dengan lambang "Keris" dalam bendera Sulu. Dan dari keturunan "Isteri Kedua" Sultan Badaruddin I, seorang Puteri Kerajaan Tidung @ Dinasti Tenggara Tarakan, lahirlah puteranya Datu Pangiran Bantilan dan saudara perempuanya bernama Dayang Meria (*yang merupakan ibu kepada Datu Tating @ Datu Tating, orang yang menyerang penempatan British di Pulau Balambangan pada tahun 1775. Datu Tating ini memiliki Tanduk, yang kini ada dijaga oleh Keluarga Maharajah Adinda). Dari Putera Pangiran Datu Bantilan @ Sultan Bantilan Muizuddin, ke puteranya Sultan Alimuddin II, ke puteranya Raja Muda Datu Bantilan @ Datu Badaruddin ke puteranya Datu Mohammad Sie @ Seh @ Sheikh, dan ke puteranya Datu Aliddin Haddis Pabila (*Orang yang telah menghantar Barang Pusaka Pulau janggi @ Sepoh Janggi ke Muzium Brunei pada tahun 1978 ). Keturunan Sultan Bantilan Muizuddin ini dipanngil sebagai "Keluarga Maharajah Adinda Sulu" (Yang merupakan "Pewaris Kedua" Kesultanan Sulu, yang dilambangkan dengan lambang "Tombak @ Bujjak" dalam bendera Sulu ).
Maka, dengan menandatangani Perjanjian Carpenter 1915 oleh Sultan Jamalul Kiram II dan dengan kemangkatan baginda yang tiada waris pada tahun 1936, maka hak dan warisan mereka (pewaris Pertama Sulu) telah Berakhir @ Abolished. Namun hak dan warisan Pewaris Kedua Kesultanan Sulu masih tetap ada, dan tidak terlupus. Maka dari tahun 1937 sehingga kini, hak warisan Kesultanan Sulu adalah dibawah Hak Keluarga Maharajah Adinda, dan bukan dibawah Keluarga Pewaris Pertam Sulu lagi. Bermaksud setelah tahun 1915, keluarga Pewaris Pertama Sulu (Khasnya Keluarga Kiram) Tiada lagi mempunyai apa-apa hak menuntut dalam Hak hak Warisan Kesultanan Sulu. Hak hak Warisan Kesultanan Sulu kini hanya ada pada Keluarga Pewaris Kedua Sulu @ Keluarga Maharajah Adinda.