of Irreproducible Research!
Description of Statistical Computation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Author's title | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Author | *The author of this computation has been verified* | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| R Software Module | rwasp_chi_squared_tests.wasp | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Title produced by software | Chi-Squared and McNemar Tests | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Date of computation | Sat, 20 Nov 2010 22:17:09 +0000 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cite this page as follows | Statistical Computations at FreeStatistics.org, Office for Research Development and Education, URL https://freestatistics.org/blog/index.php?v=date/2010/Nov/20/t1290291358zea01iev3aolx9m.htm/, Retrieved Fri, 28 Nov 2025 18:55:54 +0000 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Statistical Computations at FreeStatistics.org, Office for Research Development and Education, URL https://freestatistics.org/blog/index.php?pk=98306, Retrieved Fri, 28 Nov 2025 18:55:54 +0000 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| QR Codes: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Original text written by user: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| IsPrivate? | No (this computation is public) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User-defined keywords | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Estimated Impact | 412 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Tree of Dependent Computations | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Family? (F = Feedback message, R = changed R code, M = changed R Module, P = changed Parameters, D = changed Data) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| - [ECEL 2008] [ECEL2008 hypothes...] [2008-06-14 21:17:24] [74be16979710d4c4e7c6647856088456] - RMPD [Chi-Squared and McNemar Tests] [Chi squared 1] [2010-11-05 22:27:37] [97ad38b1c3b35a5feca8b85f7bc7b3ff] - PD [Chi-Squared and McNemar Tests] [Popularity - Know...] [2010-11-20 22:17:09] [9ea95e194e0eb2a674315798620d5bc6] [Current] | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Feedback Forum | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Post a new message | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Dataset | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Dataseries X: | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
'A' 'D' 'B' 'B' 'D' 'B' 'B' 'B' 'B' 'A' 'B' 'A' 'D' 'B' 'D' 'D' 'A' 'D' 'D' 'C' 'A' 'A' 'B' 'C' 'A' 'D' 'A' 'B' 'B' 'A' 'B' 'D' 'B' 'B' 'C' 'B' 'B' 'C' 'C' 'B' 'A' 'D' 'A' 'C' 'D' 'A' 'B' 'A' 'C' 'B' 'D' 'A' 'C' 'A' 'B' 'B' 'C' 'C' 'D' 'C' 'C' 'A' 'C' 'A' 'B' 'D' 'B' 'A' 'D' 'B' 'A' 'A' 'C' 'C' 'C' 'D' 'D' 'D' 'D' 'D' 'D' 'A' 'D' 'C' 'B' 'D' 'C' 'D' 'D' 'D' 'B' 'D' 'D' 'C' 'A' 'C' 'A' 'D' 'C' 'B' 'A' 'B' 'B' 'B' 'C' 'A' 'A' 'A' 'A' 'A' 'C' 'A' 'B' 'B' 'B' 'A' 'A' 'D' 'B' 'A' 'A' 'B' 'B' 'B' 'A' 'B' 'A' 'A' 'A' 'A' 'D' 'C' 'A' 'B' 'D' 'D' 'D' 'A' 'D' 'A' 'D' 'C' 'A' 'C' 'A' 'A' 'A' 'B' 'C' 'D' 'A' 'D' 'B' 'C' 'C' 'D' 'A' 'B' 'B' 'A' 'A' 'B' 'B' 'A' 'C' 'B' 'A' 'A' 'B' 'A' 'A' 'A' 'A' 'A' 'A' 'C' 'A' 'A' 'A' 'A' 'A' 'B' 'B' 'A' 'A' 'A' 'A' 'C' 'A' 'A' 'A' 'D' 'C' 'B' 'B' 'C' 'B' 'A' 'A' 'A' 'A' 'A' 'B' 'A' 'C' 'A' 'A' 'A' 'A' 'A' 'B' 'A' 'A' 'D' 'B' 'B' 'A' 'C' 'B' 'C' 'D' 'B' 'B' 'D' 'C' 'C' 'A' 'D' 'D' 'C' 'B' 'D' 'A' 'B' 'D' 'C' 'B' 'C' 'B' 'D' 'A' 'C' 'B' 'D' 'B' 'B' 'A' 'B' 'A' 'A' 'B' 'A' 'D' 'A' 'B' 'C' 'C' 'B' 'B' 'A' 'A' 'A' 'A' 'B' 'A' 'B' 'B' 'C' 'A' 'A' 'C' 'A' 'A' 'D' 'A' 'C' 'A' 'D' 'B' 'A' 'A' 'B' 'C' 'A' 'A' 'B' 'D' 'B' 'C' 'A' 'A' 'C' 'A' 'A' 'B' 'C' 'A' 'A' 'A' 'A' 'C' 'B' 'D' 'D' 'C' 'A' 'A' 'D' 'D' 'C' 'D' 'D' 'C' 'D' 'C' 'B' 'C' 'C' 'B' 'D' 'B' 'C' 'A' 'C' 'C' 'A' 'A' 'D' 'B' 'B' 'C' 'D' 'D' 'D' 'C' 'B' 'A' 'D' 'B' 'A' 'D' 'A' 'C' 'A' 'D' 'D' 'B' 'C' 'C' 'C' 'B' 'D' 'D' 'D' 'D' 'A' 'D' 'A' 'B' 'A' 'C' 'B' 'A' 'C' 'A' 'A' 'C' 'D' 'B' 'D' 'B' 'D' 'A' 'D' 'B' 'A' 'A' 'D' 'C' 'D' 'A' 'C' 'A' 'A' 'C' 'C' 'A' 'A' 'B' 'A' 'A' 'B' 'C' 'D' 'D' 'A' 'B' 'A' 'A' 'A' 'B' 'B' 'D' 'C' 'B' 'B' 'A' 'A' 'A' 'A' 'A' 'B' 'C' 'B' 'A' 'B' 'B' 'A' 'A' 'A' 'D' 'A' 'D' 'B' 'C' 'D' 'A' 'D' 'D' 'D' 'A' 'B' 'C' 'C' 'B' 'C' 'C' 'B' 'A' 'A' 'B' 'B' 'C' 'C' 'A' 'D' 'C' 'D' 'D' 'C' 'A' 'B' 'C' 'A' 'C' 'D' 'B' 'A' 'A' 'A' 'A' 'D' 'C' 'A' 'C' 'A' 'B' 'A' 'A' 'A' 'A' 'D' 'C' 'A' 'C' 'A' 'B' 'A' 'B' 'A' 'A' 'A' 'C' 'D' 'A' 'D' 'C' 'B' 'A' 'A' 'C' 'D' 'C' 'C' 'B' 'B' 'C' 'B' 'B' 'B' 'A' 'D' 'C' 'A' 'A' 'B' 'A' 'B' 'B' 'A' 'A' 'A' 'D' 'A' 'D' 'D' 'B' 'A' 'B' 'A' 'B' 'D' 'B' 'A' 'B' 'A' 'D' 'A' 'B' 'B' 'C' 'B' 'B' 'A' 'C' 'B' 'A' 'A' 'C' 'A' 'B' 'D' 'C' 'B' 'B' 'A' 'C' 'A' 'B' 'A' 'B' 'A' 'C' 'D' 'B' 'B' 'D' 'C' 'A' 'B' 'C' 'B' 'B' 'B' 'C' 'A' 'B' 'B' 'A' 'A' 'D' 'A' 'D' 'D' 'A' 'D' 'D' 'D' 'B' 'A' 'D' 'C' 'C' 'B' 'B' 'D' 'B' 'D' 'D' 'C' 'B' 'B' 'B' 'C' 'B' 'B' 'D' 'B' 'B' 'B' 'A' 'B' 'B' 'B' 'C' 'B' 'B' 'A' 'B' 'A' 'B' 'A' 'C' 'B' 'C' 'D' 'A' 'A' 'B' 'A' 'C' 'C' 'A' 'C' 'A' 'A' 'D' 'D' 'B' 'C' 'A' 'A' 'D' 'D' 'D' 'B' 'A' 'A' 'A' 'A' 'D' 'D' 'C' 'B' 'B' 'A' 'A' 'B' 'C' 'C' 'A' 'A' 'B' 'A' 'B' 'B' 'B' 'B' 'B' 'A' 'A' 'A' 'A' 'A' 'B' 'D' 'A' 'A' 'A' 'A' 'C' 'D' 'D' 'D' 'A' 'B' 'A' 'D' 'B' 'A' 'A' 'D' 'A' 'A' 'C' 'D' 'D' 'A' 'A' 'A' 'B' 'B' 'A' 'A' 'A' 'B' 'A' 'C' 'A' 'A' 'C' 'A' 'D' 'B' 'A' 'D' 'D' 'C' 'B' 'B' 'B' 'B' 'B' 'C' 'C' 'A' 'B' 'A' 'B' 'A' 'A' 'C' 'A' 'D' 'A' 'A' 'D' 'A' 'C' 'A' 'A' 'B' 'A' 'D' 'A' 'A' 'A' 'A' 'A' 'C' 'C' 'C' 'D' 'A' 'B' 'D' 'D' 'D' 'D' 'B' 'A' 'B' 'A' 'D' 'C' 'B' 'B' 'A' 'A' 'A' 'C' 'B' 'A' 'B' 'C' 'B' 'A' 'D' 'A' 'A' 'C' 'D' 'B' 'C' 'B' 'B' 'B' 'D' 'C' 'A' 'D' 'C' 'A' 'C' 'D' 'A' 'A' 'D' 'D' 'D' 'C' 'D' 'A' 'C' 'A' 'A' 'D' 'D' 'B' 'D' 'B' 'B' 'D' 'C' 'C' 'D' 'B' 'A' 'B' 'C' 'B' 'A' 'D' 'A' 'C' 'B' 'A' 'A' 'B' 'A' 'B' 'A' 'D' 'B' 'A' 'D' 'A' 'C' 'A' 'A' 'D' 'A' 'D' 'C' 'B' 'B' 'A' 'D' 'B' 'B' 'D' 'C' 'A' 'D' 'C' 'B' 'B' 'C' 'C' 'C' 'C' 'D' 'B' 'D' 'B' 'A' 'A' 'D' 'A' 'C' 'A' 'C' 'A' 'D' 'B' 'A' 'A' 'A' 'B' 'A' 'A' 'B' 'B' 'A' 'B' 'B' 'B' 'A' 'B' 'B' 'A' 'A' 'A' 'A' 'A' 'A' 'B' 'A' 'C' 'A' 'B' 'A' 'B' 'C' 'A' 'B' 'D' 'A' 'B' 'A' 'B' 'A' 'B' 'A' 'C' 'A' 'D' 'D' 'C' 'A' 'C' 'A' 'A' 'C' 'C' 'B' 'B' 'D' 'D' 'C' 'B' 'B' 'B' 'B' 'C' 'B' 'A' 'B' 'B' 'C' 'D' 'C' 'A' 'B' 'B' 'A' 'A' 'D' 'D' 'D' 'A' 'B' 'B' 'D' 'B' 'D' 'A' 'B' 'A' 'A' 'C' 'B' 'A' 'D' 'B' 'A' 'D' 'D' 'D' 'C' 'B' 'C' 'A' 'C' 'B' 'C' 'A' 'C' 'B' 'C' 'D' 'A' 'D' 'D' 'C' 'B' 'B' 'B' 'B' 'B' 'A' 'B' 'C' 'D' 'C' 'B' 'A' 'B' 'B' 'B' 'A' 'B' 'B' 'A' 'B' 'B' 'B' 'A' 'A' 'A' 'D' 'B' 'B' 'C' 'B' 'D' 'A' 'D' 'B' 'C' 'B' 'A' 'C' 'A' 'D' 'B' 'C' 'A' 'B' 'B' 'C' 'B' 'C' 'C' 'B' 'D' 'C' 'C' 'D' 'B' 'A' 'B' 'B' 'C' 'A' 'B' 'B' 'A' 'A' 'A' 'A' 'B' 'B' 'A' 'C' 'D' 'B' 'A' 'B' 'B' 'D' 'A' 'D' 'A' 'B' 'D' 'B' 'C' 'A' 'D' 'D' 'C' 'A' 'A' 'C' 'B' 'D' 'D' 'C' 'B' 'D' 'A' 'A' 'D' 'A' 'B' 'D' 'C' 'A' 'C' 'C' 'B' 'B' 'A' 'B' 'B' 'B' 'C' 'B' 'B' 'A' 'C' 'B' 'A' 'B' 'A' 'A' 'A' 'A' 'A' 'B' 'C' 'B' 'C' 'B' 'D' 'A' 'A' 'B' 'A' 'D' 'A' 'D' 'C' 'D' 'B' 'A' 'D' 'C' 'D' 'A' 'D' 'A' 'B' 'B' 'A' 'B' 'A' 'D' 'B' 'A' 'C' 'A' 'A' 'B' 'B' 'C' 'A' 'B' 'A' 'B' 'A' 'D' 'B' 'A' 'C' 'A' 'A' 'C' 'B' 'B' 'A' 'D' 'B' 'C' 'B' 'A' 'B' 'C' 'A' 'A' 'C' 'A' 'A' 'B' 'B' 'B' 'A' 'A' 'A' 'B' 'D' 'B' 'D' 'D' 'A' 'A' 'A' 'B' 'A' 'C' 'A' 'D' 'B' 'A' 'D' 'A' 'C' 'C' 'A' 'B' 'A' 'A' 'D' 'B' 'A' 'A' 'D' 'B' 'B' 'D' 'C' 'D' 'D' 'A' 'B' 'D' 'D' 'D' 'C' 'C' 'A' 'C' 'B' 'A' 'D' 'D' 'A' 'B' 'A' 'A' 'C' 'B' 'A' 'B' 'C' 'B' 'A' 'A' 'A' 'D' 'D' 'C' 'D' 'D' 'B' 'A' 'D' 'C' 'D' 'D' 'D' 'B' 'B' 'A' 'A' 'A' 'C' 'D' 'C' 'A' 'A' 'C' 'B' 'A' 'B' 'B' 'B' 'C' 'C' 'C' 'B' 'D' 'D' 'B' 'B' 'A' 'B' 'D' 'C' 'C' 'A' 'C' 'B' 'B' 'D' 'C' 'C' 'C' 'B' 'D' 'A' 'D' 'C' 'A' 'C' 'D' 'C' 'D' 'C' 'A' 'D' 'C' 'C' 'B' 'A' 'A' 'A' 'B' 'A' 'C' 'B' 'D' 'B' 'C' 'B' 'A' 'C' 'C' 'A' 'C' 'A' 'D' 'D' 'B' 'A' 'D' 'B' 'C' 'C' 'D' 'B' 'C' 'B' 'C' 'B' 'B' 'A' 'A' 'A' 'A' 'C' 'C' 'B' 'A' 'D' 'A' 'D' 'B' 'C' 'D' 'D' 'D' 'D' 'A' 'A' 'A' 'D' 'C' 'C' 'D' 'A' 'D' 'C' 'D' 'D' 'B' 'C' 'C' 'C' 'C' 'A' 'C' 'A' 'B' 'D' 'B' 'C' 'C' 'C' 'A' 'A' 'C' 'B' 'A' 'C' 'A' 'B' 'B' 'B' 'D' 'D' 'D' 'C' 'A' 'A' 'A' 'C' 'D' 'C' 'B' 'A' 'C' 'B' 'B' 'D' 'B' 'B' 'B' 'A' 'B' 'C' 'A' 'A' 'B' 'B' 'A' 'D' 'C' 'D' 'B' 'B' 'C' 'D' 'B' 'D' 'A' 'B' 'B' 'B' 'C' 'D' 'B' 'B' 'C' 'B' 'D' 'A' 'A' 'B' 'C' 'D' 'A' 'A' 'D' 'A' 'A' 'A' 'A' 'A' 'B' 'B' 'D' 'A' 'B' 'B' 'B' 'A' 'B' 'B' 'A' 'A' 'C' 'A' 'C' 'D' 'B' 'B' 'A' 'A' 'C' 'B' 'B' 'A' 'D' 'A' 'D' 'A' 'A' 'A' 'B' 'A' 'C' 'B' 'B' 'B' 'A' 'A' 'B' 'D' 'A' 'C' 'C' 'A' 'D' 'C' 'A' 'A' 'B' 'A' 'B' 'B' 'B' 'A' 'B' 'B' 'A' 'B' 'B' 'B' 'A' 'A' 'B' 'A' 'A' 'D' 'A' 'A' 'A' 'A' 'B' 'A' 'A' 'B' 'C' 'B' 'A' 'C' 'B' 'A' 'B' 'A' 'D' 'A' 'D' 'A' 'A' 'A' 'B' 'C' 'D' 'A' 'D' 'B' 'C' 'B' 'C' 'C' 'B' 'D' 'A' 'D' 'A' 'B' 'C' 'C' 'A' 'D' 'B' 'C' 'A' 'D' 'B' 'A' 'B' 'B' 'A' 'B' 'A' 'A' | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Tables (Output of Computation) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Figures (Output of Computation) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Input Parameters & R Code | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Parameters (Session): | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| par1 = 0.01 ; par2 = 0.99 ; par3 = 0.01 ; | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Parameters (R input): | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| par1 = 1 ; par2 = 8 ; par3 = Exact Pearson Chi-Squared by Simulation ; | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| R code (references can be found in the software module): | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
library(vcd) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||