হিউমনা গবেষকের সতর্কবার্তা: টেক্সট-টু-এসকিউএল এআই-তে লুকানো লজিক ঝুঁকি
Ai4
নিয়ন্ত্রিত শিল্পে কেবল আউটপুট নির্ভুলতার ওপর নির্ভর করলে এআই-এর আত্মবিশ্বাসী অথচ ভুল ব্যবসায়িক লজিক আড়ালে থেকে যায়, যা সিদ্ধান্ত গ্রহণে বড় ঝুঁকি তৈরি করে।
AI-assisted summary of Panel 1 - 3: Evaluating Hallucination in Retrieval-Augmented Generation for High-Stakes Healthcare — original source. Check the original for full context.
Source published:
Detailed notes
## Background এই ভিডিওটি ২০২৬ সালের ১৪ আগস্ট ইউটিউবের 'Ai4' চ্যানেলে প্রকাশিত হয়, যেখানে হিউমানার (Humana) বিজনেস ইন্টেলিজেন্স ইঞ্জিনিয়ার প্রাঞ্জল নাভকার বক্তব্য উপস্থাপন করেন। ভিডিওর বিবরণ অনুযায়ী, এতে স্বাস্থ্যসেবা অ্যানালিটিক্সের কঠোর নীতিমালার অধীনে লোকাল আরএজি (RAG) সিস্টেমে হ্যালুসিনেশন মূল্যায়ন, ৫০টি টেস্ট কুয়েরির ফ্রেমওয়ার্ক এবং অডিট-সংবেদনশীল পরিবেশে কেবল আউটপুট নির্ভুলতার ওপর নির্ভর করার ঝুঁকি নিয়ে মৌলিক গবেষণা তুলে ধরা হয়েছে।
## TL;DR প্রাঞ্জল নাভকার স্বাস্থ্যসেবার মতো নিয়ন্ত্রিত শিল্পে টেক্সট-টু-এসকিউএল সিস্টেমে আত্মবিশ্বাসী অথচ ভুল ডেটা হ্যালুসিনেশনের ঝুঁকি বিশদভাবে ব্যাখ্যা করেছেন। তিনি ওলামা-চালিত লোকাল মডেল ও কনটেক্সট বিল্ডার সমন্বিত একটি কাঠামো এবং পাঁচ স্তরের মাল্টি-লেয়ার ট্রাস্ট অ্যাসেসমেন্ট ফ্রেমওয়ার্ক উপস্থাপন করেন। ৫০টি কিউরেটেড টেস্ট কুয়েরির মূল্যায়নে সার্বিক নির্ভুলতা ৭৬% দেখা গেলেও, অস্পষ্ট প্রশ্নের ক্ষেত্রে সিস্টেমটি প্রায় ৪০% ভিত্তিহীন উত্তর (confident confabulation) তৈরি করে এবং এগ্রিগেশনে গুরুতর ব্যবসায়িক ত্রুটি ঘটায়। এই নির্ভরযোগ্যতার সংকট মোকাবিলায় তিনি কুয়েরির অন্তর্নিহিত যুক্তি যাচাই, ভ্যালিডেশন গেটওয়ে, স্পষ্টীকরণ চাওয়ার প্রক্রিয়া এবং ঝুঁকিভিত্তিক পাইলট চালুর চারটি মূল শিক্ষা প্রস্তাব করেন।
## Atmosphere & style উপস্থাপনার মেজাজ অত্যন্ত বিশ্লেষণাত্মক, বাস্তবমুখী এবং সতর্কতামূলক। 'লিজ' নামের একটি কাল্পনিক চরিত্রের প্রাতিষ্ঠানিক সংকট এবং ১৪৮ বনাম ৪২-এর মতো বাস্তব সংখ্যার অসঙ্গতি তুলে ধরে বক্তা দর্শকদের কৃত্রিম বুদ্ধিমত্তার আপাতদৃষ্টিতে নির্ভুল উত্তরের নেপথ্য ঝুঁকি সম্পর্কে সচেতন করেন। পুরো সেশনটিতে কোনো কৃত্রিম প্রযুক্তিগত উন্মাদনা নেই; বরং নিয়ন্ত্রিত পরিবেশের বাস্তব বাধ্যবাধকতাকে মেনে নিয়ে কীভাবে বিশ্বাসযোগ্য সিস্টেম গড়ে তোলা যায়, সেই প্রকৌশলগত গাম্ভীর্য ফুটে উঠেছে।
## Key takeaways - [00:04](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=4s) স্বাস্থ্যসেবা ও ব্যাংকিংয়ের মতো নিয়ন্ত্রিত শিল্পে ডেটা সুরক্ষার জন্য ওলামা (Ollama)-র মতো লোকাল ইনফারেন্স ব্যবহার করা হলেও লোকাল মডেল নিজে থেকে নির্ভরযোগ্যতার নিশ্চয়তা দেয় না। - [03:26](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=206s) টেক্সট-টু-এসকিউএল রূপান্তরে কেবল প্রশ্ন বোঝা যথেষ্ট নয়, বরং ডেটাবেস স্কিমা, ডেটা টাইপ, কার্ডিনালিটি এবং ব্যবসায়িক প্রেক্ষাপট সঠিকভাবে বোঝা অপরিহার্য। - [03:26](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=206s) এসকিউএল ব্যাকএন্ডে ভুল লজিক থাকা সত্ত্বেও আউটপুটে আপাতদৃষ্টিতে নিখুঁত উত্তর আসতে পারে, যা এন্টারপ্রাইজ সিস্টেমে মারাত্মক ডেটা হ্যালুসিনেশন ঘটায়। - [04:51](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=291s) কনটেক্সট বিল্ডার মধ্যবর্তী অ্যাপ্লিকেশন স্তর হিসেবে সাধারণ ইংরেজি প্রশ্নের সাথে ডেটাবেস স্কিমা ও প্রাতিষ্ঠানিক ব্যবসায়িক সংজ্ঞা যুক্ত করে ইনপুটকে সমৃদ্ধ করে। - [04:51](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=291s) জেনারেট করা এসকিউএল সরাসরি রান না করে সিনট্যাক্স, টেবিল জয়েন এবং ফিল্টারিং লজিক পরীক্ষার জন্য একটি ডেডিকেটেড ভ্যালিডেশন লেয়ার থাকা আবশ্যক। - [07:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=430s) এআই সিস্টেমের বিশ্বাসযোগ্যতা মূল্যায়নে পাঁচ-স্তরীয় ফ্রেমওয়ার্ক (এক্সিকিউশন, স্ট্রাকচারাল, বিজনেস, আউটপুট ধারাবাহিকতা ও ট্রেসিবিলিটি) অনুসরণ করা প্রয়োজন। - [07:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=430s) বাস্তব উদাহরণে 'সক্রিয় প্ল্যান' গণনায় মডেলটি আত্মবিশ্বাসের সাথে ১৪৮ উত্তর দিলেও অভ্যন্তরীণ ব্যবসায়িক শর্ত অনুযায়ী সঠিক উত্তর ছিল ৪২। - [09:11](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=551s) ডিস্টিংকট আইডির বদলে সাধারণ COUNT(*) ব্যবহারের মতো অ্যাগ্রিগেশন ত্রুটিগুলো রানটাইম এরর ছাড়াই সিস্টেমে নীরব লজিক্যাল ভুল সৃষ্টি করে। - [09:11](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=551s) ৫০টি টেস্ট কুয়েরির মূল্যায়নে সার্বিক নির্ভুলতা ৭৬% হলেও প্রায় ৪০% অস্পষ্ট প্রশ্নের ক্ষেত্রে মডেলটি ভিত্তিহীন আত্মবিশ্বাসী উত্তর (confident confabulation) দিয়েছে। - [09:11](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=551s) শুধুমাত্র আউটপুটের বাহ্যিক নির্ভুলতার ওপর নির্ভর করলে অডিট-সংবেদনশীল পরিবেশে সিস্টেমের আসল নির্ভরযোগ্যতার ঝুঁকি আড়ালে থেকে যায়। - [11:20](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=680s) নিয়ন্ত্রিত শিল্পের জন্য চারটি মূল শিক্ষণীয় কৌশল হলো কুয়েরি লজিক স্ক্রুটিনি, রানটাইম ভ্যালিডেশন গেটওয়ে, অনিশ্চয়তায় পাল্টা প্রশ্ন করা এবং ঝুঁকিভিত্তিক ধাপে ধাপে পাইলট পরিচালনা। - [13:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=790s) এআই মডেল কেবল উত্তর তৈরি করতে পারে কি না তা না দেখে, উত্তরটিকে কীভাবে যাচাইযোগ্য ও নির্ভরযোগ্য করা যায় সেই মূল্যায়ন কাঠামোর ওপর জোর দেওয়া উচিত।
## Detailed walkthrough ### [00:04](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=4s) ভূমিকা এবং নিয়ন্ত্রিত শিল্পে এআই গ্রহণের প্রেক্ষাপট
প্রাঞ্জল নাভকার AI4 সম্মেলনে উপস্থিত সবাইকে ধন্যবাদ জানিয়ে নিজের উপস্থাপনা শুরু করেন। তিনি উল্লেখ করেন যে প্রযুক্তিগত বাস্তবায়নের পাশাপাশি গবেষণার ক্ষেত্রে দর্শকদের এত ব্যাপক আগ্রহ দেখতে পাওয়া সত্যিই অত্যন্ত উৎসাহব্যঞ্জক। এটি AI4 সম্মেলনে প্রাঞ্জলের প্রথম উপস্থাপনা। প্রাঞ্জল একটি ফরচুন ৪০ স্বাস্থ্যসেবা বীমা কোম্পানিতে (Humana) বিজনেস ইন্টেলিজেন্স ইঞ্জিনিয়ার হিসেবে কর্মরত। তাঁর বক্তব্যের মূল বিষয়বস্তু হলো অত্যন্ত সংবেদনশীল বা "হাই-স্টেক্স" হেলথকেয়ার ডেটা অ্যানালিটিক্সের ক্ষেত্রে রিট্রিভাল অগমেন্টেড জেনারেশন (RAG)-এ হ্যালুসিনেশন মূল্যায়ন করা।
বিষয়টি সহজভাবে তুলে ধরতে তিনি লিজ নামের এক কাল্পনিক চরিত্রের উদাহরণ টানেন। লিজ একজন ডেটা ইঞ্জিনিয়ার, ডেটা অ্যানালিস্ট কিংবা বিজনেস ইন্টেলিজেন্স অ্যানালিস্ট—যেকোনো পদবিরই হতে পারেন। একদিন লিজের লিডারশিপ টিম তাকে একটি সাধারণ ব্যবসায়িক প্রশ্ন করে: "২০২৫ সালে কয়টি সক্রিয় প্ল্যান (active plans) ছিল?" বাহ্যিকভাবে প্রশ্নটি অত্যন্ত সহজ মনে হলেও, এর উত্তর দেওয়া লিজের জন্য বেশ জটিল। তাকে বুঝতে হয় কোন ডেটাবেসের সাথে সংযুক্ত হতে হবে, কোন কোন টেবিল ও কলাম ব্যবহার করতে হবে এবং সবচেয়ে বড় কথা হলো ব্যবসায়িক পরিভাষায় লিডারশিপ আসলে "সক্রিয় প্ল্যান" বলতে ঠিক কী বোঝাতে চেয়েছে। লিজ চিন্তা করে, পুরো এসকিউএল কোড নিজে না লিখে জেনারেটিভ এআই ব্যবহার করে স্বয়ংক্রিয়ভাবে টেক্সট-টু-এসকিউএল তৈরি করা যায় কি না। কিন্তু স্বাস্থ্যসেবা, ব্যাংকিং, ফাইন্যান্স বা অ্যারোস্পেসের মতো কঠোরভাবে নিয়ন্ত্রিত শিল্পে সংবেদনশীল ডেটা কোম্পানির ফায়ারওয়ালের বাইরে পাঠানো সম্পূর্ণ নিষিদ্ধ। এই সমস্ত প্রতিষ্ঠানে এআই গ্রহণের প্রক্রিয়াটি অত্যন্ত ধীর ও পর্যায়ক্রমিক হয় এবং খুব সীমিতসংখ্যক পাইলট টিমেরই ক্লাউড এআই ব্যবহারে অনুমতি থাকে।
ফায়ারওয়ালের ভেতরে থেকে কাজ করার জন্য লিজ ওলামা (Ollama)-র মতো লোকাল ইনফারেন্স পরিবেশ বেছে নেয়, যেখানে লামা (Llama), ডিপসিক আর১ (DeepSeek R1) বা কুইন (Qwen)-এর মতো প্রি-ট্রেইনড ওপেন মডেলগুলো অফলাইনে চালানো যায়। কিন্তু প্রাঞ্জল সতর্ক করে দেন যে, কেবল কোনো কিছু "লোকাল" চালানো মানেই তা সহজাতভাবে নিরাপদ বা নির্ভরযোগ্য হয়ে যায় না।
- প্রাঞ্জল নাভকার ফরচুন ৪০ স্বাস্থ্যসেবা প্রতিষ্ঠানে বিজনেস ইন্টেলিজেন্স ইঞ্জিনিয়ার হিসেবে কর্মরত। - ব্যাংকিং, স্বাস্থ্যসেবা ও মহাকাশ গবেষণার মতো নিয়ন্ত্রিত শিল্পে এআই গ্রহণ ধীরগতির এবং নিয়ন্ত্রিত অ্যাক্সেস নীতির আওতাভুক্ত। - লোকাল ইনফারেন্সে ডেটা সুরক্ষার জন্য ওলামা (Ollama) ব্যবহার করে লামা, ডিপসিক আর১ ও কুইন মডেল চালানো সম্ভব হলেও তা নির্ভুলতার নিশ্চয়তা দেয় না।
```mermaid flowchart TD accTitle: টেক্সট-টু-এসকিউএল প্রক্রিয়ার জটিলতা subgraph InputStage["১. প্রশ্ন ও বিশ্লেষণ"] Q["ব্যবহারকারীর প্রাকৃতিক ভাষার প্রশ্ন"] --> Logic["ব্যবসায়িক প্রেক্ষাপট ও যুক্তি বিশ্লেষণ"] end subgraph SchemaStage["২. স্কিমা ম্যাপিং"] Logic --> Meta["সঠিক টেবিল, কলাম, টাইপ ও কার্ডিনালিটি সনাক্তকরণ"] end subgraph ExecutionStage["৩. কোড জেনারেশন ও ফলাফল"] Meta --> Gen["এসকিউএল কোড তৈরি"] Gen --> Out["ফলাফল প্রাপ্তি ও বৈধতা যাচাই"] end ```
[03:26](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=206s) টেক্সট-টু-এসকিউএল কেন কঠিন এবং বিশ্বাসযোগ্যতার সংকট
সাধারণ প্রাকৃতিক ভাষা বা ইংরেজি থেকে সরাসরি কার্যকর এসকিউএল কোড তৈরি করা অত্যন্ত জটিল একটি প্রক্রিয়া। একটি সিস্টেমকে কেবল ব্যবহারকারীর প্রশ্নটি বুঝলেই চলে না, বরং প্রশ্নের অন্তর্নিহিত ব্যবসায়িক প্রেক্ষাপট এবং লজিক অনুধাবন করার গভীর সক্ষমতা থাকতে হয়। সিস্টেমে সঠিক ডেটা খুঁজে নিতে হয়—যার মধ্যে রয়েছে উপযুক্ত কলাম নির্ধারণ, সঠিক ডেটা টাইপ যাচাই, উপযুক্ত ফিল্টারিং লজিক প্রয়োগ, নির্দিষ্ট টেবিল নির্বাচন এবং তাদের কার্ডিনালিটি সঠিকভাবে বিশ্লেষণ করা। এরপরই সিস্টেমটি এসকিউএল তৈরি করে আউটপুট প্রদান করে।
এখানে সবচেয়ে বড় ঝুঁকিটি হলো, বাহ্যিকভাবে একটি ফলাফলকে দেখতে সম্পূর্ণ নির্ভুল মনে হলেও ব্যাকএন্ডে তৈরি হওয়া এসকিউএল কোডটি হয়তো সম্পূর্ণ ভুল লজিকের ওপর দাঁড়িয়ে তৈরি হয়েছে। স্ক্রিনে একটি আত্মবিশ্বাসী উত্তর আসা মানেই যে তা বাস্তবসম্মতভাবে সঠিক, এমনটি কোনোভাবেই নিশ্চিত নয়। এটি মারাত্মক ডেটা হ্যালুসিনেশন ঘটাতে পারে। প্রাঞ্জল এখানে গবেষণার প্রধান মৌলিক প্রশ্নটি উত্থাপন করেন: "এন্টারপ্রাইজ ব্যবহারকারীরা কি এআই দ্বারা তৈরি এসকিউএল-কে বিশ্বাস করতে পারেন?" এন্টারপ্রাইজ পরিবেশে কেবল আপাতদৃষ্টিতে সঠিক উত্তর পাওয়া যথেষ্ট নয়; সেই উত্তরের পেছনের ব্যবসায়িক যুক্তি ও প্রাসঙ্গিক প্রেক্ষাপটও প্রতিটি ধাপে সঠিক হওয়া বাধ্যতামূলক।
- সাধারণ ইংরেজিকে এসকিউএলে রূপান্তরের জন্য ব্যবসায়িক যুক্তি, ফিল্টারিং নিয়ম এবং স্কিমা কার্ডিনালিটি বোঝা অপরিহার্য। - আপাতদৃষ্টিতে নিখুঁত দেখতে এসকিউএল কোডও নেপথ্যে ভুল লজিক প্রয়োগ করে হ্যালুসিনেটেড বা মিথ্যা উত্তর প্রদান করতে পারে। - এন্টারপ্রাইজ প্রেক্ষাপটে উত্তরের সত্যতার চেয়েও গুরুত্বপূর্ণ হলো উত্তরের পেছনের ব্যবসায়িক লজিকের সঠিকতা।
```mermaid flowchart LR accTitle: লোকাল টেক্সট-টু-এসকিউএল প্রোটোটাইপ আর্কিটেকচার subgraph Client["ব্যবহারকারী"] User["ন্যাচারাল ল্যাঙ্গুয়েজ কোয়েরি"] end subgraph Middleware["অ্যাপ্লিকেশন স্তর"] User --> CB["কনটেক্সট বিল্ডার<br/>(স্কিমা, রিলেশন, ব্যবসায়িক সংজ্ঞা)"] end subgraph Engine["ইনফারেন্স ও যাচাই"] CB --> LLM["লোকাল এলএলএম (Ollama)<br/>(ফাইন-টিউনিং ছাড়া)"] LLM --> GenSQL["জেনারেটেড এসকিউএল"] GenSQL --> Val["যাচাই ও পর্যালোচনা<br/>(সিনট্যাক্স, স্কিমা, ফিল্টার)"] end subgraph Output["চূড়ান্ত স্তর"] Val --> Exec["লোকাল এক্সিকিউশন ও সঠিক অন্তর্দৃষ্টি"] end ```
[04:51](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=291s) লোকাল টেক্সট-টু-এসকিউএল আর্কিটেকচার এবং কনটেক্সট বিল্ডার
এই জটিলতা মূল্যায়নের জন্য প্রাঞ্জল একটি লোকাল টেক্সট-টু-এসকিউএল প্রোটোটাইপ কাঠামো তৈরি করেন। এই সিস্টেমে ব্যবহারকারীর সাধারণ ইংরেজি প্রশ্নটি সরাসরি লোকাল এলএলএম-এ আঘাত করে না। এর বদলে প্রশ্নটি প্রথমে 'কনটেক্সট বিল্ডার' নামক একটি মধ্যবর্তী অ্যাপ্লিকেশন স্তরে পৌঁছায়। এই কনটেক্সট বিল্ডার ডেটাবেস স্কিমা, টেবিলের পারস্পরিক সম্পর্ক, প্রতিষ্ঠানের অনুমোদিত ব্যবসায়িক সংজ্ঞা, প্রযুক্তিগত পরিভাষা এবং প্রম্পট নির্দেশনা সংগ্রহ করে ব্যবহারকারীর প্রশ্নের সাথে যুক্ত করে সমৃদ্ধ ইনপুট প্রস্তুত করে।
এই সমৃদ্ধ প্রেক্ষাপটটি তখন ওলামা-চালিত লোকাল লার্জ ল্যাঙ্গুয়েজ মডেলে পাঠানো হয়। এখানে ব্যবহৃত মডেলগুলো কোনো ফাইন-টিউনিং ছাড়া কেবল সাধারণ ইনফারেন্স মোডে পরিচালিত প্রি-ট্রেইনড মডেল। মডেলটি এসকিউএল তৈরি করার পর সরাসরি কার্যকর না হয়ে একটি কঠোর "যাচাইকরণ এবং পর্যালোচনা" (Validation and Review) স্তরের মধ্য দিয়ে যায়। এই যাচাইকরণ স্বয়ংক্রিয় অ্যালগরিদম অথবা হিউম্যান-ইন-দ্য-লুপ পর্যালোচনার মাধ্যমে সম্পন্ন হতে পারে। এখানে দেখা হয় এসকিউএল সিনট্যাক্স সঠিক কি না, কাঙ্ক্ষিত টেবিল ও কলাম আসলেই ডেটাবেসে বিদ্যমান কি না, টেবিল জয়েন ও ফিল্টার সঠিকভাবে বসেছে কি না এবং "সক্রিয় প্ল্যান"-এর মতো শব্দগুচ্ছের ব্যবসায়িক সংজ্ঞা যথাযথভাবে মানা হয়েছে কি না। যাচাইয়ের পর কোডটি লোকাল ডেটাবেসে রান করে নির্ভরযোগ্য ফলাফল সরবরাহ করা হয়।
- কনটেক্সট বিল্ডার সাধারণ ইংরেজি প্রশ্নের সাথে ডেটাবেস স্কিমা, রিলেশন ও ব্যবসায়িক সংজ্ঞা যুক্ত করে একটি অ্যাপ্লিকেশন লেয়ার হিসেবে কাজ করে। - ব্যবহৃত লোকাল মডেলগুলো কোনো ধরনের ফাইন-টিউনিং ছাড়াই সাধারণ ইনফারেন্স মোডে এসকিউএল তৈরি করে। - এক্সিকিউশনের পূর্বে সিনট্যাক্স, টেবিল অস্তিত্ব, জয়েন লজিক এবং ব্যবসায়িক ফিল্টার যাচাই করার জন্য একটি ডেডিকেটেড ভ্যালিডেশন লেয়ার আবশ্যক।
```mermaid flowchart TD accTitle: মাল্টি-লেয়ার ট্রাস্ট অ্যাসেসমেন্ট ফ্রেমওয়ার্ক L1["১. কার্যকর করার সঠিকতা (Execution Correctness)"] --> L2["২. কাঠামোগত সঠিকতা (Structural Correctness)"] L2 --> L3["৩. ব্যবসায়িক সঠিকতা (Business Correctness)"] L3 --> L4["৪. ফলাফলের সঠিকতা ও ধারাবাহিকতা (Output Correctness & Consistency)"] L4 --> L5["৫. ট্রেসিবিলিটি বা অনুসরণযোগ্যতা (Traceability)"] ```
[07:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=430s) মাল্টি-লেয়ার ট্রাস্ট অ্যাসেসমেন্ট এবং বাস্তব ব্যর্থতার নজির
মডেলটি কতটা নির্ভরযোগ্য তা যাচাই করতে প্রাঞ্জল একটি "মাল্টি-লেয়ার বা বহু-স্তরীয় আস্থা মূল্যায়ন" ফ্রেমওয়ার্ক ব্যবহার করেন। কোনো সিস্টেমের প্রতি গভীর আস্থা তখনই তৈরি হয় যখন এটি একাধিক ধাপে উত্তীর্ণ হয়। এটি শুরু হয় এক্সিকিউশন সঠিকতা (কোডটি কোনো এরর ছাড়া রান করে কি না) দিয়ে, যা সবচেয়ে মৌলিক স্তর। এরপর যাচাই করা হয় কাঠামোগত সঠিকতা, ব্যবসায়িক সঠিকতা, আউটপুটের সঠিকতা এবং পুনরাবৃত্তিমূলক প্রশ্নের ক্ষেত্রে উত্তরের ধারাবাহিকতা। সর্বশেষ স্তরটি হলো ট্রেসিবিলিটি বা অনুসরণযোগ্যতা, যাতে বোঝা যায় সিদ্ধান্তটি কোন সূত্র ধরে নেওয়া হয়েছে। প্রাঞ্জলের মতে, কেবল একটি বৈধ এসকিউএল তৈরি হওয়া বা দেখতে যুক্তিসঙ্গত একটি উত্তর পাওয়াই যথেষ্ট নয়; একটি সর্বোত্তম বিন্দুতে পৌঁছাতে এই সমস্ত স্তরের সামঞ্জস্য প্রয়োজন।
এই কাঠামোর গুরুত্ব প্রমাণ করতে প্রাঞ্জল লিজের পূর্বোক্ত উদাহরণে ফিরে যান। লিজ যখন এআই-কে জিজ্ঞাসা করেছিল ২০২৫ সালে কয়টি সক্রিয় পরিকল্পনা ছিল, এআই আত্মবিশ্বাসের সাথে উত্তর দিয়েছিল "১৪৮"। প্রযুক্তিগতভাবে কোডটি কোনো এরর ছাড়াই সফলভাবে কার্যকর হয়েছিল এবং আউটপুট তৈরি করেছিল। কিন্তু অভ্যন্তরীণভাবে ব্যবসায়িক শর্তাবলী যাচাই করার পর দেখা যায় প্রকৃত সঠিক উত্তর ছিল মাত্র "৪২"। বাস্তব ব্যবসায়িক পরিস্থিতিতে, যেখানে এই সংখ্যার ওপর ভিত্তি করে নির্বাহী পর্যায়ে কোটি টাকার সিদ্ধান্ত গৃহীত হয়, সেখানে ১৪৮ বনাম ৪২-এর এই ফারাক এক ভয়াবহ ঝুঁকি। প্রাঞ্জল জানান যে এই ধরনের বিভ্রান্তির পেছনে মূলত চারটি লুকানো কারণ বা ব্যর্থতার বিভাগ কাজ করে, যার মধ্যে রয়েছে অ্যাগ্রিগেশন যুক্তি, তুলনা টেবিল (comparison tables), অস্পষ্ট প্রশ্ন এবং লুকআপ টেবিলের ভুল ব্যবহার।
- মাল্টি-লেয়ার ফ্রেমওয়ার্কের পাঁচটি স্তর: এক্সিকিউশন সঠিকতা, কাঠামোগত সঠিকতা, ব্যবসায়িক সঠিকতা, ফলাফলের ধারাবাহিকতা এবং ট্রেসিবিলিটি। - ২০২৫ সালের সক্রিয় প্ল্যানের প্রশ্নে এআই টেকনিক্যালি নিখুঁত কোড রান করে উত্তর দিয়েছিল ১৪৮, অথচ সঠিক ব্যবসায়িক উত্তর ছিল ৪২। - গবেষণায় শনাক্ত হওয়া চারটি প্রধান লুকানো সমস্যার মধ্যে রয়েছে অ্যাগ্রিগেশন লজিক, তুলনা টেবিল, অস্পষ্ট প্রশ্নের জটিলতা এবং লুকআপ টেবিল।
[09:11](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=551s) এগ্রিগেশন ত্রুটি এবং ৫০টি টেস্ট কুয়েরির ফলাফল
লুকআপ টেবিলের প্রেক্ষাপটে আলোচনার পর বক্তা তার প্রিয় বিষয়—এগ্রিগেশন (aggregation) ও অস্পষ্ট প্রশ্নগুলোর জটিলতা নিয়ে বিস্তারিত ব্যাখ্যা দেন। অনেক সময় এআই সিস্টেমের অভ্যন্তরীণ ভুলগুলো বাইরে থেকে সহজে ধরা পড়ে না। উদাহরণস্বরূপ, একটি কুয়েরিতে অনন্য প্ল্যান আইডি (distinct plan IDs) গণনা করার নির্দেশ থাকলেও মডেলটি কেবল সাধারণ `COUNT(*)` ব্যবহার করে টেবিলের সমস্ত সারি গণনা করে ফেলেছিল। এর ফলে তৈরি হওয়া এসকিউএল কুয়েরিটি ডেটাবেসে সফলভাবে কার্যকর হয়েছিল এবং আউটপুট হিসেবে পাওয়া সংখ্যাটিও আপাতদৃষ্টিতে বিশ্বাসযোগ্য মনে হয়েছিল; কিন্তু অন্তর্নিহিত ব্যবসায়িক যুক্তি (business logic) সম্পূর্ণ ব্যর্থ হয়েছিল। ডেটাবেস টেবিল থেকে ঠিক কোন লজিক প্রয়োগ করে ডেটা সংগ্রহ করতে হবে তা বুঝতে মানুষের পর্যালোচনা (human review) অত্যন্ত জরুরি ছিল।
```mermaid flowchart TD accTitle: কুয়েরি ভ্যালিডেশন এবং এগ্রিগেশন যাচাই প্রক্রিয়া subgraph Input["ব্যবহারকারীর ইনপুট"] Q["ন্যাচারাল ল্যাঙ্গুয়েজ কুয়েরি"] end subgraph Logic["এসকিউএল লজিক পর্যালোচনা"] SQL["জেনারেটেড এসকিউএল"] Check{"লজিক ও এগ্রিগেশন ঠিক আছে?"} SQL --> Check end subgraph Execution["এক্সিকিউশন ও কন্ট্রোল"] Pass["অনুমোদিত গেটওয়ে দিয়ে এক্সিকিউট"] Fail["ঝুঁকিপূর্ণ কুয়েরি ব্লক বা এস্কেলেট"] Check -- "সঠিক (DISTINCT, Joins)" --> Pass Check -- "ত্রুটিপূর্ণ (যেমন ভুল COUNT)" --> Fail end Q --> SQL ```
বক্তা তার তৈরি মূল্যায়ন ফ্রেমওয়ার্কটি ৫০টি কিউরেটেড টেস্ট কুয়েরির ওপর প্রয়োগ করেছিলেন। আপাতদৃষ্টিতে ৫০টি কুয়েরি সংখ্যায় কম মনে হলেও স্বাস্থ্যসেবার মতো নিয়ন্ত্রিত পরিবেশে প্রতিটি কুয়েরির সূক্ষ্ম যুক্তি যাচাই করা ছিল অত্যন্ত শ্রমসাধ্য কাজ। এই মূল্যায়নে উঠে আসা মূল পরিসংখ্যান ও পর্যবেক্ষণগুলো হলো:
- **সামগ্রিক সঠিকতা (Overall Accuracy):** মডেলটির সার্বিক নির্ভুলতা ছিল ৭৬%। - **লুকানো লজিক্যাল ত্রুটি:** ৩টি কুয়েরিতে এমন নীরব বা লুকানো লজিক্যাল ত্রুটি ছিল যা এসকিউএল রান করার পরেও ভুল ব্যবসায়িক ফলাফল দিচ্ছিল। - **অস্পষ্ট প্রশ্নের প্রতিক্রিয়া:** মডেলের কাছে নির্দিষ্ট প্রসঙ্গ বা তথ্য না থাকলে এটি মানুষের মতো অতিরিক্ত আত্মবিশ্বাস দেখিয়ে বিভ্রান্তিকর আউটপুট দিচ্ছিল; ফলাফলে দেখা যায় প্রায় ৪০% অস্পষ্ট প্রশ্নের ক্ষেত্রে সিস্টেমটি সম্পূর্ণ ভিত্তিহীন উত্তর ("confident confabulation") তৈরি করেছে। - **আউটপুট নির্ভুলতার বিভ্রান্তি:** বক্তা জোর দিয়ে বলেন যে, শুধু আউটপুটের সঠিকতা বা নির্ভুলতার ওপর নির্ভর করলে তা মূল যুক্তির ব্যর্থতাকে আড়াল করে দেয়। নির্ভরযোগ্যতার ঝুঁকি বুঝতে হলে মূল্যায়ন কাঠামোর মাধ্যমে যুক্তিকে বাস্তবতার সাথে মেলাতে হবে।
---
[11:20](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=680s) নিয়ন্ত্রিত শিল্পের জন্য চারটি মূল শিক্ষণীয় বিষয়
স্বাস্থ্যসেবা, ফিন্যান্স বা ব্যাংকিংয়ের মতো কঠোর নিয়ম মেনে চলা প্রতিষ্ঠানগুলোর ক্ষেত্রে মডেলের মূল্যায়ন এবং ত্রুটিগুলোকে ব্যবহারিক নিয়ন্ত্রণে (practical controls) পরিণত করার জন্য বক্তা চারটি মূল শিক্ষা তুলে ধরেন:
| নিয়ন্ত্রক স্তর | মূল পদক্ষেপ | বাস্তবায়ন কৌশল | |:--- |:--- |:--- | | **১. লজিক পর্যালোচনা** | কুয়েরি যুক্তি যাচাই | শুধু চূড়ান্ত সংখ্যা না দেখে টেবিল, ফিল্টার, জয়েন এবং ক্যালকুলেশন স্ক্রুটিনি করা | | **২. ভ্যালিডেশন গেটওয়ে** | রানটাইম সুরক্ষা | রিড-অনলি অ্যাক্সেস, নির্দিষ্ট স্কিমা অনুমোদন এবং ঝুঁকিপূর্ণ কুয়েরি প্রি-ব্লকিং | | **৩. অনিশ্চয়তা হ্যান্ডলিং** | স্পষ্টীকরণ চাওয়া | কোনো প্রশ্ন অস্পষ্ট হলে অনুমান না করে মডেল যেন ইউজারকে পাল্টা প্রশ্ন করে | | **৪. ঝুঁকিভিত্তিক পাইলট** | নিয়ন্ত্রিত সম্প্রসারণ | কম ঝুঁকিপূর্ণ ও নির্দিষ্ট অ্যানালিটিক্স দিয়ে শুরু করে ধাপে ধাপে স্কেল করা |
বক্তা বিস্তারিত জানান যে প্রথম নিয়মটি সাধারণ মনে হলেও প্রায়শই মানুষ এটি ভুলে যায়—চূড়ান্ত ফলাফল অন্ধভাবে বিশ্বাস না করে পেছনের এসকিউএল যুক্তি পুঙ্খানুপুঙ্খভাবে দেখা উচিত। দ্বিতীয়ত, একটি আর্কিটেকচারাল ভ্যালিডেশন গেটওয়ে থাকা প্রয়োজন যা রিড-অনলি অ্যাক্সেস নিশ্চিত করবে এবং ঝুঁকিপূর্ণ কোনো কুয়েরি রান করার আগেই তা ব্লক বা এস্কেলেট করবে। তৃতীয়ত, মডেলের অনিশ্চয়তাকে নিরাপদ করতে হবে; মডেল যেন ভুল উত্তর তৈরি করার বদলে "স্পষ্টীকরণের জন্য প্রশ্ন করে"। প্রোডাকশনে পাঠানোর আগে নিয়মিত মনিটরিং, ভ্যালিডেশন রুল নির্ধারণ এবং প্রাসঙ্গিক তথ্য যোগ করে পুনরায় পরীক্ষা করতে হবে। পরিশেষে, যেকোনো প্রজেক্ট কম ঝুঁকিপূর্ণ নির্দিষ্ট অ্যানালিটিক্স ব্যবহারের মাধ্যমে শুরু করে বাস্তব প্রশ্ন ও পর্যালোচনার ভিত্তিতে ধীরে ধীরে প্রসার ঘটানো উচিত।
---
[13:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=790s) সমাপ্তি ও সমাপনী বার্তা
উপস্থাপনার শেষে বক্তা অডিট-সংবেদনশীল পরিবেশে কাজ করা প্র্যাকটিশনারদের যোগাযোগের জন্য তার লিংকডইন কিউআর কোড স্ক্রিনে প্রদর্শন করেন। তিনি তার উপস্থাপনা শেষ করেন একটি গুরুত্বপূর্ণ নীতিবাক্যের মাধ্যমে:
> "জিজ্ঞাসা করবেন না 'এটি কি উত্তর তৈরি করতে পারে', বরং জিজ্ঞাসা করুন 'উত্তরটিকে নির্ভরযোগ্য করতে আমার কোন ফ্রেমওয়ার্ক বা মূল্যায়ন ব্যবহার করা উচিত'।"
তিনি উপস্থিত সবাইকে ধন্যবাদ জানিয়ে সেশনটির ইতি টানেন।
## Notable quotes > What happens when your AI answers confidently - and it's wrong and nobody can tell? — Pranjal Nawarkar
> [00:04](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=4s) ২০২৫ সালে কয়টি সক্রিয় প্ল্যান (active plans) ছিল? — Pranjal Nawarkar
> [03:26](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=206s) এন্টারপ্রাইজ ব্যবহারকারীরা কি এআই দ্বারা তৈরি এসকিউএল-কে বিশ্বাস করতে পারেন? — Pranjal Nawarkar
> [07:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=430s) ১৪৮ — Pranjal Nawarkar
> [07:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=430s) ৪২ — Pranjal Nawarkar
> [09:11](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=551s) confident confabulation — Pranjal Nawarkar
> [11:20](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=680s) স্পষ্টীকরণের জন্য প্রশ্ন করে — Pranjal Nawarkar
> [13:10](https://www.youtube.com/watch?v=VeMqaQ3lIDI&t=790s) জিজ্ঞাসা করবেন না 'এটি কি উত্তর তৈরি করতে পারে', বরং জিজ্ঞাসা করুন 'উত্তরটিকে নির্ভরযোগ্য করতে আমার কোন ফ্রেমওয়ার্ক বা মূল্যায়ন ব্যবহার করা উচিত'। — Pranjal Nawarkar
## Mentioned Pranjal Nawarkar, Humana, AI4, Ollama, Llama, DeepSeek R1, Qwen, LinkedIn
## Video description Pranjal Nawarkar, Business Intelligence Engineer 2, Humana
What happens when your AI answers confidently - and it's wrong and nobody can tell? This talk presents original research on hallucination evaluation in a locally deployed RAG system built to enable natural language querying of healthcare analytics data, designed entirely within real compliance constraints including on-premises inference, audit trail requirements, and role-based access control. I will walk through a structured evaluation framework applied across 50 curated test queries, a hallucination taxonomy specific to the healthcare analytics domain covering value drift, schema hallucination, aggregation errors, and confident confabulation, and a critical finding that output-level accuracy alone systematically understates true reliability risk in audit-sensitive environments. Attendees will leave with a practitioner framework they can apply to evaluate their own RAG systems, a risk-stratified way to think about AI failures in regulated contexts, and a concrete example of how compliance constraints can be treated as architectural specifications rather than obstacles. If you are building or evaluating AI systems inside a regulated industry, this talk is for you.
[Source](https://www.youtube.com/watch?v=VeMqaQ3lIDI)