در گذشته مردم سمنان مدفونین دراین بقعه را عبدالله و قاسم از اولاد حضرت عباس (علیه السلام) می‌نامیدند.
مرحوم علامه حائری نتیجه تحقیقات خود را درباره سلسله نسب مدفونین این بارگاه، در لوحه ثبت شده در حرم نوشته‌اند. طبق این نوشته، مدفونین این بقعه هشت تن می‌باشند که شش تن درداخل ابنا و دو تن در خارج از ابنا دفن شده‌اند و اسامی آنان عبارتند از:
۱- عبیدالله اابن حسن که با سایر سادات علوی در گرگان ارتباط داشتند به بلاد قومس که در آن زمان مأمن سادات ابوالفضلی و سجادی بوده آمدند و مدتی قاضی القضات حرمین بوده‌اند. وی در سال ۲۰۴ و ۲۰۵ هجری به سمت امیر حجاج منسوب شده و به حج رفته است و سال وفات وی باید پس از بازگشت از حج یعنی سال ۲۰۵ هجری قمری به بعد باشد.
۲- عبیدالله ابن عباس ثانی فرزند حسن ابن عبیدالله ابن ابوالفضل العباس (ع) و برادرزاده عبیدالله ابن حسن.
۳- قاسم ابن علی اشرف به عمر اشرف فرزند امام زین العابدین (ع) و برادر ناصرکبیر پادشاه طبرستان و دیلم.
۴- ابوجعفر محمد فرزند قاسم ابن علی اشرف از فقها و زهاد و عباد بوده وی از ترس معتصم به خراسان آمده و در آنجا چهل هزار نفر با وی بیعت کردند ولی عبدالله ابن طاهر به دستور خلیفه عباسی وی را دستگیر و به سامرا اعزام داشت و در این شهر به امر خلیفه وی را در برج معتصم که امروز نیز وجود دارد زندانی کردند. عده‌ای از مریدان وی او را آزاد ساخته و به زاوغان امروز که از گزند خلفای عباسی در امان بوده آوردند.
۵- عبیدالله اعرج ابن حسین اصغر ابن امام زین العابدین (ع) یکی از سادات جلیل القدر و نام آور زمان خود بوده است. گویند ابوالعباس سفاح هشتاد هزار دینار مقرری برای وی تعیین کرده بوده است. درباره وفات وی روایات مختلفی وجود دارد. عده‌ای معتقدند وی هنگام بازگشت از خراسان با فرزندش زین‌العابدین علی صالح پس از ملاقات با ابومسلم خراسانی در امروان دامغان فوت می‌کند و زین العابدین جسد پدر را به زاوغان می‌آورد. برخی عقیده دارند که ابومسلم بوسیله زهر وی را شهید نموده است. ولی صاحب کتاب «استظهار» می‌نویسد که زین‌العابدین جلوتر از پدر به قریه زاوغان می رسد و خبر مرگ پدر را بعداً به او می‌رسانند.
۶- عبدالله ابن عبیدالله اعرج برادر زین‌العابدین علی صالح.
۷- عبدالله ابن حسین اصغر برادر عبیدالله اعرج.
۸- قاسم ابن عبدالله ابن حسین اصغر.
۹- قاسم ابن علی ابن حمزه اکبر ابن حسن ابن عبدالله ابن حضرت عباس (ع).
۱۰- قاسم فرزند عبیدالله ابن حسن که از علمای عالی‌قدر و از اصحاب فاضل حضرت امام حسن عسگری و نماینده آن حضرت در خراسان گرگان و قومس بوده و در عسگریه نیز نشو و نما کرده به طوری که در این دیار به نام عسگری معروف گردیده است.
مشخصات بنا
اتاق حرم عبارت از محوّطه مربّع شکلى به ضلع ۵/۵ متر است که در وسط هر یک از اضلاع چهارگانه آن درى وجود دارد. دو در شمالى و جنوبى، به دو اتاق مستطیل شکل و دو در دیگر به ایوانهاى ابنا باز مىشود. درها ارزش هنرى و تاریخى ندارند.
در چهار گوشه حرم، چهار فیل‌پوش به وجود آمده و به کمک چهار طاق‌نما در چهار ضلع حرم و بدون استفاده از کارابندى، پایه گریو گنبد را برپا کردهاند. در طاق‌نماهاى مزبور، پنج مشبّک گچى نصب شده که نور داخل بقعه را تأمین مىکند. در وسط حرم و زیر گنبد، دو صندوق چوبى کم ارزش و در زیر آن‌ها قبورى قرار دارد. داخل بقعه فاقد تزیین خاصّى است. در صحن شرقى امامزاده، قبرى با پوشش کاشى فیروزهاى متعلّق به «قاسم»، فرزند عبیداللَّه ابن حسن، و «قاسم»، فرزند امامزاده أشرف قرار دارد که به قبر عسگرى نیز معروف است. در وسط ضلع شرقى و بر بالاى در ورودى حرم، کتیبهاى از کاشى لاجوردى شامل آیت الکرسى به خط ثلث سفید مشاهده مىگردد. نماى خارجى و غربى ابنا به طور کلّى شامل ایوان و دو راه پلّه دو طبقه و دو گوشواره دو طبقه است. غرفات پایینى، بزرگ‌تر است و درهاى غربى رواقها در آن‌ها باز مىشود. پشت بغلهاى اسپر دوّم طرفین و راه پلّههاى طبقه دوّم را کاشىهاى فیروزهاى زینت مىدهد. ابناى بقعه با توجّه به نوشته «مطلع الشمس»، در عصر فتحعلى شاه قاجار و توسّط سردار اسماعیل خان سردار صورت گرفته است.
در سال ۱۳۶۹ نسبت به تعمیر و مرمّت داخل حرم اقدام و در سال‌هاى ۱۳۸۰ تا ۱۳۸۴ نسبت به بازسازى مرقد مطهّر و نصب ضریح فلزى مشبّک به طول ۷۰/۲ و عرض ۸۰/۱ و بلندى ۵۰/۲ سانتى متر توسّط اداره کل اوقاف و امور خیریّه استان سمنان اقدام شده‌است.
ایوان شرقى بیش از ۵/۷ متر ارتفاع دارد و سطح آن به اندازه ۶۵/۱ متر از کف حیاط بلندتر و به وسیله ۵ پلّه بزرگ هم عرض ایوان به صحن متّصل مىشود و با سنگ مفروش شده است. صحن شرقى امامزاده در سال ۱۳۶۸ و ۱۳۶۹ توسّط اوقاف سمنان با همکارى میراث فرهنگى استان توسعه داده شده و به نحو زیبایى نسبت به باغچه‌بندى، دیوارکشى و مفروش نمودن حیاط با سنگ مارون اقدام گردیده است.
ایوان غربى نیز به ارتفاع ۵/۷ متر متّصل به بقعه و مشرف به حیاط وسیع است. این ایوان هم حدود ۶۵/۱ متر از حیاط غربى بلندتر است و به وسیله ۶ پلّه به صحن راه مىیابد. در وسط ضلع شرقى و بر بالاى درِ ورودى حرم، کتیبهاى از کاشى لاجوردى مشاهده مىشود که آیه الکرسى را به خط ثلث سفید بر آن نوشته‌اند. نماى خارجى و غربى ابنا به طور کلى شامل ایوان و دو راه پلّه دو طبقه و دو گوشواره دو طبقه مىباشد.
این بنا مربوط به دوره صفوی است و در منطقه محلات ثلاث واقع شده و این اثر در تاریخ ۳۰ شهریور ۱۳۷۸ با شماره ثبت ۲۴۲۲ به‌عنوان یکی از آثار ملی ایران به ثبت رسیده است.
