📊 داده به گزارش — کامل

هر دو جدول‌اند، ولی برای کار با ایجنت فرقشان مهم است:

• CSV یک فایل متنیِ ساده است: هر سطر یک ردیف، ستون‌ها با کاما جدا. مزیتش این است که خودت هم می‌توانی بازش کنی و ببینی — و برای راستی‌آزمایی این خیلی ارزش دارد. عیبش: فرمول، رنگ، چند برگه، و قالب‌بندی ندارد.
• Excel همه‌ی آن‌ها را دارد، ولی یک فایل دودویی است — یعنی بازکردنش ابزار می‌خواهد و دیدنِ خامش ممکن نیست.

و قاعده‌ی عملی: برای پردازش، CSV؛ برای تحویل، Excel. اگر فایل اکسل داری، ازش CSV بگیر، کار را روی CSV بکن، و در آخر خروجی را اکسل کن. این هم کار را ساده‌تر می‌کند و هم قابل بازرسی‌تر.

و یک تله‌ی فارسیِ همیشگی از فصل ۴.۲.۴: CSV با کاما جدا می‌شود، ولی عددهای فارسی هم با کاما هزارگان می‌آیند. بخش بعد نشان می‌دهد این تله دقیقاً چه بلایی سرِ فایل نمونه‌ی ما آورده.

فایل نمونه‌ها/داده/فروش-۱۴۰۵.csv را باز کن — یازده ردیف داده دارد و هفت نوع خرابی در آن هست. همه‌شان را می‌توانی با چشم ببینی، چون فایل کوچک است:

1. یک ردیف ۷ ستون دارد به‌جای ۶. علتش دقیقاً همان تله‌ی بالاست: قیمت 450,000 بدون گیومه نوشته شده، پس آن کاما به‌عنوان جداکننده خوانده می‌شود و ردیف را می‌شکند. نتیجه‌اش این است که قیمت می‌شود 450 و 000 سر از ستون مشتری درمی‌آورد.
2. سه قالب تاریخ متفاوت: 1405/01/05 · 1405/1/18 (ماه یک‌رقمی) · 1405-02-22 (خط تیره) — و یکی هم با ارقام فارسی: ۱۴۰۵/۰۲/۱۵.
3. دو سلول خالی: یک ردیف مشتری ندارد، یک ردیف تعداد ندارد.
4. «شركت ب» با کافِ عربی در کنار «شرکت ب» با کافِ فارسی. این دو عیناً یک شکل دیده می‌شوند ولی برای کامپیوتر دو چیز متفاوت‌اند.
5. یک ردیف تقریباً تکراری: دو ردیف با همان تاریخ، محصول، تعداد و قیمت — که یکی‌شان مشتری ندارد. تکراریِ دقیق نیست، پس ابزارهای «حذف تکراری» پیدایش نمی‌کنند.
6. دو ردیف «مرجوعی» — که فروش نیستند و نباید در جمع بیایند.
7. و یک ردیف «در انتظار» که تعدادش خالی است.

به‌خاطر بسپار ترتیب درست: اول تمیز کن، بعد حساب کن. اگر روی داده‌ی کثیف حساب کنی، جوابی می‌گیری که شکلِ درستی دارد — و همان چیزی است که نمی‌شود تشخیصش داد. عددِ غلط هیچ علامتی روی خودش ندارد.

حالا عددها. و اینجا نکته‌ی اصلیِ فصل است — این ارقام را خودت می‌توانی بشماری، پس ادعا نیستند:

• جمعِ خام (هر ردیف که قابل محاسبه بود، بدون تمیزکاری): ۴۵٬۹۶۰٬۹۰۰
• جمعِ درست (فقط تحویل‌شده‌ها، ردیفِ شکسته اصلاح، تکراری حذف): ۳۷٬۵۰۰٬۰۰۰
• اختلاف: ۸٬۴۶۰٬۹۰۰ — یعنی ۲۲.۶٪ بیش‌برآورد.

و جالب‌تر اینکه این ۲۲.۶٪ از چند خطای جدا می‌آید که هم‌جهت نیستند:

• +۸٬۴۰۰٬۰۰۰ از ردیف تکراری — بزرگ‌ترین سهم، از یک خطای کاملاً بی‌سروصدا.
• +۹۶۰٬۰۰۰ از دو ردیف مرجوعی که نباید شمرده می‌شدند.
• −۸۹۹٬۱۰۰ از ردیفِ شکسته که قیمتش به‌جای ۴۵۰٬۰۰۰ برابر ۴۵۰ خوانده شد — این یکی جمع را کم می‌کند.

و همین آخری درسِ مهمی دارد: خطاها همدیگر را خنثی می‌کنند و پنهان می‌شوند. اگر فقط جمع کل را نگاه کنی، نمی‌فهمی سه خطای جدا داشتی — فقط یک عددِ نه‌چندان عجیب می‌بینی.

و برای شمارش مشتری‌ها هم همان اتفاقِ فصل ۴.۲ می‌افتد: گروه‌بندی خام ۶ مشتری می‌دهد، در حالی که مشتریِ واقعی ۴ تاست — چون «شركت ب» و «شرکت ب» جدا شمرده می‌شوند، و 000ی که از ردیفِ شکسته آمده هم به‌عنوان یک مشتری شمرده می‌شود.

گزارشِ عددی چند قاعده دارد که رعایت‌نکردنشان زحمتت را بی‌اثر می‌کند:

• واحد را بنویس. «۳۷٬۵۰۰٬۰۰۰» بدون واحد، نصف اطلاعات است.
• جداکننده‌ی هزارگان بگذار. خواندنِ ۳۷۵۰۰۰۰۰ از انسان کار می‌کشد و اشتباه‌خواندنش آسان است.
• بگو چه چیزی حذف شده. «مرجوعی‌ها و یک ردیف تکراری حذف شدند» — بدون این، خواننده نمی‌داند عدد چه معنایی دارد.
• و عددِ خام را هم کنارش بیاور وقتی تفاوت جدی است. اینکه خواننده ببیند «خام ۴۵.۹ / پس از تمیزکاری ۳۷.۵» هم شفاف است و هم نشان می‌دهد کارِ واقعی انجام شده.

خواندنِ خروجی، راستی‌آزمایی نیست. چهار روشِ عملی، از ارزان به گران:

1. ردیف‌ها را بشمار. ساده‌ترین و مؤثرترین. اگر فایل ۱۱ ردیف داده دارد و گزارش می‌گوید ۱۰ ردیف پردازش شد، یک ردیف جایی افتاده — و باید بدانی کدام و چرا.
2. یک ردیف را دستی حساب کن. یکی کافی است، ولی ردیفِ عجیب را انتخاب کن نه ردیف اول را. ردیف اولِ هر فایل معمولاً سالم است؛ ارزش اطلاعاتی‌اش صفر است.
3. مرتبه‌ی بزرگی را بسنج. جمع باید حدوداً «تعداد ردیف × میانگین» باشد. اگر جواب ده برابرِ انتظار است، احتمالاً یک ردیف قیمتش اشتباه خوانده شده.
4. و جمعِ اجزا را با کل بسنج. اگر فروشِ هر محصول را جدا داری، جمعشان باید با کل یکی باشد. این ساده‌ترین تلهٔ خطاست و اغلب نصب نمی‌شود.

به‌خاطر بسپار هیچ‌وقت یک عدد را بدون شمارشِ ردیف‌ها قبول نکن. عددِ نهایی نمی‌گوید چند ردیف در آن است — و رایج‌ترین خطای پردازش داده، افتادنِ بی‌صدای چند ردیف است، نه محاسبه‌ی غلط.