พระญาณสังวร (ด้วง)เป็นเจ้าอาวาสรูปแรกของวัดประยุรวงศาวาสวรวิหารและในขณะเดียวกันท่านยังดำรงตำแหน่งเป็นเจ้าคณะใหญ่อรัญวาสี และเป็นเจ้าอาวาสวัดราชสิทธาราม (วัดพลับ)อีกด้วย พระญาณสังวร (ด้วง)เป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารอยู่ ๒ สมัย รวม ๒ ปีดังนี้.
สมัยที่ ๑ เป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารเมื่อ พ.ศ.๒๓๗๑ ซึ่งเป็นระยะที่สมเด็จเจ้าพระยาบรมมหาประยูรวงศ์ เริ่มก่อสร้างเสนาสนะภายในวัด ท่านเป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารได้เพียงปีเดียวก็ทรงพระกรุณาโปรดให้ย้ายไปเป็นเจ้าอาวาสวัดราชสิทธาราม
สมัยที่ ๒ กลับมาเป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารอีกครั้งหนึ่งใน พ.ศ.๒๓๗๕ เมื่อพระญาณไตรโลก (ขำ) เจ้าอาวาสวัดประยุรวงศาวาสวรวิหารรูปที่ ๒ มรณภาพ พระญาณสังวร (ด้วง) เป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารครั้งที่ ๒ ได้เพียงปีเดียวก็ทรงพระกรุณาโปรดให้ย้ายกลับไปครองวัดราชสิทธารามดังเดิม เนื่องจากทรงพระกรุณาโปรดให้พระเทพโมลี (จี่) ย้ายจากวัดราชบูรณะ (วัดเลียบ) มาเป็นเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารรูปที่ ๓ ในปีเดียวกันนั้น

ชาติภูมิและบรรพชาอุปสมบท
พระญาณสังวร (ด้วง) เกิดเมื่อประมาณปีพระพุทธศักราช ๒๒๘๙ -๒๒๙๐ ในรัชสมัยสมเด็จพระเจ้าเอกทัศน์ แห่งกรุงศรีอยุธยา ท่านบรรพชา-อุปสมบท ประมาณปลายกรุงศรีอยุธยา ที่วัดน้อยใน แขวงกรุงเก่า ในปลายสมัยกรุงศรีอยุธยานั้น

การศึกษาและปฎิบัติกรรมฐาน

เมื่ออุปสมบทแล้วไม่นาน บ้านเมืองไม่สงบ ท่านจึงจารึกออกไปจำพรรษา ณ วัดป่าแขนงในจังหวัดอุตรดิตถ์ และได้พบพระอาจารย์สุก (ซึ่งต่อมาได้รับสถาปนาเป็นสมเด็จพระสังฆราช (สุก ไก่เถื่อน) ที่ป่าลึก แขวงเมืองพิษณุโลก ในสมัยเริ่มต้นกรุงธนบุรี ประมาณปี พ.ศ.๒๓๑๑ ท่านได้ติดตามพระอาจารย์สุกมาอยู่ที่วัดท่าหอย และได้ศึกษากัมมัฏฐานมัชฌิมาแบบลำดับกับพระอาจารย์สุกนั้น อนึ่งท่านได้ศึกษาบาลีมูลกัจจายน์ หรือพระบาลีใหญ่กับพระอาจารย์สุกเป็นเบื้องต้น ต่อจากนั้นท่านได้ไปศึกษาพระบาลีชั้นสูง ณ วัดสลัก (วัดมหาธาตุยุวราชรังสฤษฎิ์) กับพระศรีสมโพธ์(ศุก) ในช่วงปลายรัชสมัยกรุงธนบุรี เกิดมีการจราจลวุ่นวาย ท่านได้ออกสัญจรจาริกธุดงค์จำศีลภาวนาอยู่ ณ ป่าลึก แขวงเมืองอุตรดิตถ์ จนถึงปี พ.ศ.๒๓๓๐ ได้ทราบข่าวว่าพระอาจารย์สุกหรือพระญาณสังวรเถร (สุก) ไปอยู่วัดราชสิทธาราม (วัดพลับ) จึงเดินทางออกจากวัดป่าแขวงเมืองอุตรดิตถ์ มาอยู่ที่วัดราชสิทธารามและศึกษากรรมฐานมัชฌิมาแบบลำดับต่อกับพระญาณสังวรเถร (สุก) ต่อมาพระญาณสังวรเถร (สุก) แต่งตั้งให้ท่านเป็นอาจารย์ผู้ช่วยบอกกรรมฐานมัชฌิมาแบบลำดับในรุ่นแรกๆของวัดราชสิทธาราม

สมณศักดิ์

ปีพระพุทธศักราช ๒๓๕๙ ในรัชสมัยรัชกาลที่ ๒ เป็นพระครูปลัดฐานานุกรมชั้นที่หนึ่งของสมเด็จพระญาณสังวร (สุก ไก่เถื่อน) ปีพระพุทธศักราช ๒๓๖๓ ในรัชสมัยรัชกาลที่ ๒ ณ.วันพฤหัส เดือนอ้าย ขึ้น ๙ ค่ำปีมะโรง โทศก ได้รับพระราชทานตั้งสมณศักดิ์ เป็นพระราชาคณะฝ่ายวิปัสสนาธุระที่ พระญาณสังวรเถร พระคณาจารย์เอก ปีพระพุทธศักราช ๒๓๖๙ ในสมัยรัชกาลที่ ๓ ได้รับพระราชทานเลื่อนสมณศักดิ์เป็นพระราชาคณะผู้ใหญ่ในราชทินนามว่า พระญาณสังวร (ไม่มีคำว่า เถร) ตามสำเนาแต่งตั้งดังนี้ " ให้พระญาณสังวรเถรเป็นพระราชาคณะผู้ใหญ่ที่ พระญาณสังวร สุนทรสังฆเถรา สัตตวิสุทธิ์ จริยาปรินายก ติปิฏกธรา มหาอุดมศิลอนันต์ อรัญวาสี สถิตในวัดราชสิทธาวาส พระอารามหลวง "

การปกครองคณะสงฆ์

พ.ศ.๒๓๖๓ เป็นเจ้าคณะรองอรัญญวาสี

พ.ศ.๒๓๖๙ เป็นเจ้าคณะใหญ่อรัญวาสี

พ.ศ.๒๓๗๑ เป็นเจ้าอาวาสวัดประยุรวงศาวาส สมัยที่ ๑

พ.ศ.๒๓๗๒-๒๓๗๙ เป็นเจ้าอาวาสวัดราชสิทธาราม

พ.ศ.๒๓๗๕ เป็นเจ้าอาวาสวัดประยุรวงศาวาส สมัยที่ ๒

การครองวัดประยุรวงศาวาส

พ.ศ.๒๓๗๑ สมเด็จเจ้าพระยามหาประยูรวงศ์ ขอพระราชทานพระบรมราชานุญาตให้พระญาณสังวร(ด้วง) วัดราชสิทธาราม มาเป็นเจ้าอาวาสรูปแรกของวัดประยุรวงศาวาสวรวิหาร พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ ๓ ก็ทรงพระกรุณาโปรด อนุวัติตามนั้น ท่านดำรงตำแหน่งเจ้าอาวาสวัดประยุรวงศาวาสวรวิหารได้เพียงปีเดียว เมื่อพระปิฎกโกศลเถร (แก้ว) เจ้าอาวาสวัดราชสิทธาราม ถึงมรณภาพในปี พ.ศ.๒๓๗๑ นั้น จึงทรงพระกรุณาโปรดให้พระญาณสังวร (ด้วง) กลับไปเป็นเจ้าอาวาสวัดราชสิทธารามดั่งเดิม

ในปี พ.ศ.๒๓๗๕ พระญาณสังวร (ด้วง) ครองวัดราชสิทธารามอยู่ประมาณ ๔ ปี ทางวัดประยุรวงศาวาสวรวิหาร ว่างเจ้าอาวาส เนื่องจากพระญาณไตรโลก (ขำ) ถึงมรณภาพ พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว รัชกาลที่ ๓ จึงทรงพระกรุณาโปรดให้อาราธนาพระญาณสังวร (ด้วง) เจ้าอาวาสวัดราชสิทธารามกลับมาครองวัดประยุรวงศาวาสวรวิหาร เป็นครั้งที่ ๒ และในขณะเดียวกันก็โปรดให้ดูแลวัดราชสิทธารามไปพร้อมกันด้วย

ในปี พ.ศ.๒๓๗๕ นั้น พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัว ทรงพระกรุณาตั้งพระเทพโมลี (จี่) ไปครองวัดประยุรวงศาวาสวรวิหาร ดังนั้นพระญาณสังวร (ด้วง) จึงกลับไปครองวัดราชสิทธารามอย่างเดียว กระนั้นท่านก็เดินทางไปมาระหว่างวัดราชสิทธารามกับวัดประยุรวงศาวาสวรวิหาร เป็นประจำ

มรณภาพ

ประมาณ พ.ศ.๒๓๗๙ พระญาณสังวร (ด้วง) ท่านเริ่มอาพาธด้วยโรคชรา ขณะพำนักอยู่ที่วัดประยุรวงศาวาสวรวิหาร ต่อมาได้ย้ายมาพักฟื้นอยู่ที่วัดราชสิทธาราม พระบาทสมเด็จพระนั่งเกล้าเจ้าอยู่หัวรัชกาลที่ ๓ เสด็จไปทรงเยี่ยมอาการอาพาธของพระญาณสังวร(ด้วง) เนื่องจากทรงคุ้นเคยกันมาช้านาน แต่ครั้งพระองค์ทรงผนวชอยู่ที่วัดราชสิทธาราม และทรงนับถือว่าพระญาณสังวร (ด้วง) เป็นพระอาจารย์องค์หนึ่งของพระองค์ เมื่อพระญาณสังวร(ด้วง) ถึงแก่มรณภาพลงแล้ว พระบาทสมเด็จพระเจ้าอยู่ หัวรัชกาลที่ ๓ ทรงพระราชทานโกศเจ้าคณะใหญ่อรัญวาสี ถวายพระญาณสังวร (ด้วง) ตามตำแหน่งเจ้าคณะใหญ่อรัญวาสี ทางคณะสงฆ์วัดราชสิทธาราม ตั้งสรีระของท่านไว้ในหีบทองทึบด้านหลังฉากพระโกศ ตั้งไว้ด้านหน้าฉาก ตั้ง ณ ศาลาการเปรียญหลังเก่า ด้านหลังพระอุโบสถ ท่านมรณะภาพที่วัดราชสิทธาราม ซึ่งเป็นพระอารามเดิมของท่าน สิริรวมอายุได้ ๘๙-๙๐ ปี สรีระของท่านเก็บบำเพ็ญกุศลไว้ถึง ๕ ปี จึงพระราชทานเพลิงศพ ณ เมรุวัดราชสิทธาราม

พระบาทสมเด็จพระเจ้าอยู่หัว รัชกาลที่ ๓ ทรงพระกรุณาโปรดเกล้าฯให้ สร้างเมรุลอยทำด้วยโคลงไม้ ขึงผ้าขาว ประดับด้วยลวดลายกระดาษทอง กระดาษเงิน ห้อยพวงดอกไม้ประดับบนเมรุ การประดับประดาครั้งนั้นมากนัก และสวยงาม เมื่อใกล้เวลาประชุมเพลิง พระสงฆ์สมถะวิปัสสนา มากันมากมาย นั่งล้อมรอบเมรุเป็น ๓-๔ ชั้น ผู้คนแน่น ขนัดลานวัด ถึงเวลาพระราชทานเพลิง เสด็จพระราชดำเนินมาพระราชทานเพลิงศพ สมเด็จพระสังฆราช(ด่อน) ทรงเป็นองค์ประธานฝ่ายสงฆ์ เหตุที่เก็บสรีระสังขารของท่านไว้นานเพราะ ท่านมีลูกศิษย์ทั้งพระสงฆ์ ฆราวาสมากมาย ตลอดระยะเวลาเกือบ ๕ ปีมีการบำเพ็ญกุศลตลอด อีกทั้งพระบาทสมเด็จพระเจ้าอยู่หัวรัชกาลที่ ๓ ยังไม่ทรงว่างพระราชภารกิจ การพระราชทานเพลิงศพจึงยังคงค้างอยู่หลายปี

หลังจากงานพระราชทานเพลิง พระญาณสังวร(ด้วง) เสร็จสิ้นแล้วคณะญาติ โยม คณะขุนนาง คณะสงฆ์วัดราชสิทธาราม ได้มอบอัฏฐิธาตุ และบริขาร ของพระญาณสังวร(ด้วง) ให้ทางคณะญาติโยม คณะขุนนาง คณะสงฆ์ ทางวัดประยูรวงศาวาสวรวิหาร แห่นำไปบรรจุไว้ ณ พระเจดีย์ใหญ่ของวัดประยุรวงศาวาสวรวิหาร จนถึงทุกวันนี้